Artificial neural networks and their application in text analysis

• Název práce v češtině: Umělé neuronové sítě a jejich využití při analýze textových dat
• Název v anglickém jazyce: Artificial neural networks and their application in text analysis
• Klíčová slova: strojové učení, analýza sentimentu, klastrování, sociální sítě
• Klíčová slova anglicky: machine learning, sentiment analysis, clustering, social networks
• Akademický rok vypsání: 2014/2015
• Typ práce: diplomová práce
• Jazyk práce: angličtina
• Ústav: Katedra teoretické informatiky a matematické logiky (32-KTIML)
• Vedoucí / školitel: doc. RNDr. Iveta Mrázová, CSc.
• Řešitel: skrytý - zadáno a potvrzeno stud. odd.
• Datum přihlášení: 02.04.2015
• Datum zadání: 14.04.2015
• Datum potvrzení stud. oddělením: 22.04.2015
• Datum a čas obhajoby: 05.09.2016 12:30
• Datum odevzdání elektronické podoby: 25.07.2016
• Datum odevzdání tištěné podoby: 26.07.2016
• Datum proběhlé obhajoby: 05.09.2016
• Oponenti: Mgr. Roman Neruda, CSc.
• Konzultanti: Mgr. Peter Zvirinský, Ph.D.

Zásady pro vypracování

The student shall review the following topics in his diploma thesis:

- recapitulation and mutual comparison of known neural network models suitable for unsupervised (pre)processing of textual data (e.g., Self-Organizing Feature Maps and their hierarchical variant WEBSOM, pruning and growing neural network models, etc.)

- overview and comparison of various paradigms applicable to classification of textual data (e.g., SVM-machines, Convolutional Neural Networks and Recursive Neural Tensor Networks)

- interpretation of the obtained results and visualization of the extracted knowledge

The student will focus on some of these topics in more detail. Further, he will propose a suitable strategy for textual data processing based on real-world data (e.g., for sentiment analysis based on the data available from the Stanford Sentiment Treebank or from the Stanford Twitter Sentiment Corpus) and shall implement the models. The evaluation of the obtained results and gained experience shall form an important part of the thesis.

Seznam odborné literatury

Seznam doporučené literatury:

1. Některé z dostupných základních učebnic, resp. přehledových článků vhodných pro zvolené téma, např.:
- M. W. Berry (Ed.): Survey of Text Mining: Clustering, Classification, and Retrieval, Springer, 2004
- S. Haykin: Neural Networks and Learning Machines, 3rd edition, Pearson, 2009
- T. Kohonen: Self-Organizing Maps, Berlin: Springer, 2001

2. Články:
- R. Amarasiri, D. Alahakoon, K. Smith-Miles: Clustering massive high dimensional data with dynamic feature maps, in: Neural Information Processing (Proc. of ICONIP 2006), LNCS (4233), (2006), pp. 814-823.
- W. B. Claster, D. Q. Hung, S. Shanmuganathan: Unsupervised Artificial Neural Nets for Modeling Movie Sentiment, in: Proc. of CICSyN 2010, IEEE, (2010), pp. 349-354.
- L. Dong, F. Wei, M. Zhou, K. Xu: Adaptive Multi-Compositionality for Recursive Neural Models with Applications to Sentiment Analysis, in: Proc. of the 28-th AAAI Conf. on Artificial Intelligence, AAAI, (2014), pp. 1537-1543.
- K. Lagus, T. Honkela, S. Kaski, T. Kohonen: WEBSOM for Textual Data Mining, in: Artificial Intelligence Review (13), (1999), pp. 345-364.
- Y. LeCun, L. Bottou, Y. Bengio, P. Haffner: Gradient-Based Learning Applied to Document Recognition, in: Proc. of the IEEE, vol. 86, no. 11 (Nov. 1998), pp. 2278-2324.
- T. Phienthrakul, B. Kijsirikul, H. Takamura, M. Okumura: Sentiment Classification with Support Vector Machines and Multiple Kernel Functions, in: Neural Information Processing (Proc. of ICONIP 2009), LNCS (5864), (2009), pp. 583-592.
- C. dos Santos, M. Gatti: Deep Convolutional Neural Networks for Sentiment Analysis of Short Texts, in: Proc of COLING 2014, Dublin City University and Association for Computational Linguistics, (2014), pp. 69-78.
- T. Ptáček, I. Habernal, J. Hong: Sarcasm Detection on Czech and English Twitter, in: Proc of COLING 2014, Dublin City University and Association for Computational Linguistics, (2014), pp. 213-223.
- R. Socher, A. Perelygin, J. Y. Wu, J. Chuang, C. D. Manning, A. Y. Ng, C. Potts: Recursive Deep Models for Semantic Compositionality
Over a Sentiment Treebank, in: Proc. of EMNLP 2013, Association for Computational Linguistics, (2013), pp. 1631-1642.

3. Aktuální články z profilujících světových časopisů, např.:
Neurocomputing, Neural Networks, IEEE Transactions on Neural Networks ap.