Zkoumání úlohy univerzálního sémantického značkování pomocí neuronových sítí, řešením jiných úloh a vícejazyčným učením

• Název práce v češtině: Zkoumání úlohy univerzálního sémantického značkování pomocí neuronových sítí, řešením jiných úloh a vícejazyčným učením
• Název v anglickém jazyce: An investigation of the task of Universal Semantic Tagging using Neural Architectures, Multi-task Learning, and Multi-lingual Learning
• Klíčová slova: S ́emantick ́e znaˇckova ́n ́ı, Paraleln ́ı uˇcen ́ı, Hlubok ́e uˇcen ́ı, Pˇrenosov ́e uˇcen ́ı
• Klíčová slova anglicky: Semantic Tagging, Multi-task Learning, Deep Learning, Transfer Learning
• Akademický rok vypsání: 2017/2018
• Typ práce: diplomová práce
• Jazyk práce: angličtina
• Ústav: Ústav formální a aplikované lingvistiky (32-UFAL)
• Vedoucí / školitel: doc. Mgr. Barbora Vidová Hladká, Ph.D.
• Řešitel: skrytý - zadáno a potvrzeno stud. odd.
• Datum přihlášení: 28.02.2018
• Datum zadání: 28.02.2018
• Datum potvrzení stud. oddělením: 07.08.2018
• Datum a čas obhajoby: 11.09.2018 09:00
• Datum odevzdání elektronické podoby: 19.07.2018
• Datum odevzdání tištěné podoby: 20.07.2018
• Datum proběhlé obhajoby: 11.09.2018
• Oponenti: Mgr. Jindřich Libovický, Ph.D.

Zásady pro vypracování

Universal Semantic Tagging (UST) is the task of assigning semantic class categories to units in sentences. The main goal of the thesis is to investigate the UST task using Neural architectures, multi-task learning, and cross-lingual model transfer. The Groningen Meaning Bank and the Parallel Meaning Bank will be used for experimenting.

Subtasks

1. Initialization
- Split data into development and evaluation sets. Use the development data for experimenting. Use the evaluation data set for a final evaluation.
- Specify performance metrics for experiment evaluation
- Set a baseline using the TNT tagger (Brants, 2000)

2. Improve the state-of-the-art of UST by developing different neural models
- Experiment with the deep residual tagger (Bjerva et al., 2016)
- Experiment with the Bi-LSTM tagger by (Plank et al., 2016)
- Experiment with other neural architectures, e.g. Highway networks (Srivastava et al., 2015), Nested LSTMs (Moniz et al., 2018).

3. Investigate tasks which can be improved by using UST as an auxiliary task (Bjerva et al., 2016), (Bowman et al., 2015)

4. Address the UST task for low-resource languages using cross-lingual model transfer
- Experiment with multi-lingual training for multiple languages (Bjerva, 2017)
- Experiment with monolingual training with multi-lingual embeddings used for transfer (Conneau et al., 2017)

Seznam odborné literatury

1. Bjerva, J. (2017). One Model to Rule them all: Multitask and Multilingual Modelling for Lexical Analysis. arXiv preprint arXiv:1711.01100.
2. Bjerva, J., Plank, B., and Bos, J. (2016). Semantic tagging with deep residual networks. arXiv preprint arXiv:1609.07053.
3. Bowman, S. R., Angeli, G., Potts, C., & Manning, C. D. (2015). A large annotated corpus for learning natural language inference. arXiv preprint arXiv:1508.05326.
4. Brants, T. (2000). Tnt: a statistical part-of-speech tagger. In Proceedings of the sixth conference on Applied natural language processing, pages 224–231. Association for Computational Linguistics.
5. Conneau, A., Lample, G., Ranzato, M. A., Denoyer, L., & Jégou, H. (2017). Word translation without parallel data. arXiv preprint arXiv:1710.04087.
6. Groningen Meaning Bank. http://gmb.let.rug.nl/.
7. Moniz, J. R. A., & Krueger, D. (2018). Nested LSTMs. arXiv preprint arXiv:1801.10308.
8. Och, F. J., & Ney, H. (2000). Giza++: Training of statistical translation models.
9. Parallel Meaning Bank. http://pmb.let.rug.nl/.
10. Plank, B., Søgaard, A., and Goldberg, Y. (2016). Multilingual part-of-speech tagging with bidirectional long short-term memory models and auxiliary loss. arXiv preprint arXiv:1604.05529.
11. Srivastava, R. K., Greff, K., & Schmidhuber, J. (2015). Highway networks. arXiv preprint arXiv:1505.00387.

Předběžná náplň práce

V diplomov ́e pra ́ci prezentujeme vy ́zkum paraleln ́ıho a pˇrenosov ́eho uˇcen ́ı s vyuˇzit ́ım ned ́avno pˇredstaven ́e u ́lohy s ́emantick ́eho znaˇckova ́n ́ı. Zaprv ́e vybran ́e u ́lohy poˇc ́ıtaˇcov ́eho zpracov ́an ́ı pˇrirozen ́eho jazyka pouˇz ́ıv ́ame jako podp ̊urn ́e u ́lohy pro s ́emantick ́e znaˇckov ́an ́ı. Zadruh ́e se vyd ́av ́ame opaˇcny ́m smˇerem, a sice s ́emantick ́e znaˇckova ́n ́ı pouˇz ́ıv ́ame jako podp ̊urnou u ́lohu pro tˇri r ̊uzn ́e u ́lohy poˇc ́ıtaˇcov ́eho zpracov ́an ́ı pˇrirozen ́eho jazyka: tvaroslovn ́e znaˇckova ́n ́ı, parsing na platformˇe Universal Dependencies a odvozova ́n ́ı v pˇrirozen ́em jazyce. Porovn ́ava ́me u ́pln ́e a ˇc ́asteˇcn ́e sd ́ılen ́ı neuronovy ́ch s ́ıt ́ı spolu s uˇcen ́ım s m ́enˇe pravdˇepodobny ́m nastaven ́ım negativn ́ıho pˇrenosu mezi u ́lohami. Na z ́avˇer zkoum ́ame v ́ıcejazyˇcn ́e uˇcen ́ı v paraleln ́ım uˇcen ́ı. V experimentech demonstrujeme r ̊uzn ́e kombinace par- aleln ́ıho uˇcen ́ı a pˇrenosov ́eho uˇcen ́ı. Vy ́sledky jsou pozitivn ́ı.

Předběžná náplň práce v anglickém jazyce

In this thesis we present an investigation of multi-task and transfer learning using the recently introduced task of semantic tagging. First we employ a number of natural language processing tasks as auxiliaries for semantic tag- ging. Secondly, going in the other direction, we employ semantic tagging as an auxiliary task for three di erent NLP tasks: Part-of-Speech Tagging, Universal Dependency parsing, and Natural Language Inference. We compare full neural network sharing, partial neural network sharing, and what we term the learning what to share setting where negative transfer between tasks is less likely. Fi- nally, we investigate multi-lingual learning framed as a special case of multi-task learning. Our ndings show considerable improvements for most experiments, demonstrating a variety of cases where multi-task and transfer learning methods are bene cial.