Interpreting and Controlling Linguistic Features in Multilingual Language Models
| Název práce v češtině: | Interpretace a přizpůsobování jazykových jevů ve vícejazyčných modelech |
|---|---|
| Název v anglickém jazyce: | Interpreting and Controlling Linguistic Features in Multilingual Language Models |
| Klíčová slova: | zpracování přirozeného jazyka|jazykové modely|vícejazyčnost|interpretovatelné strojové učení |
| Klíčová slova anglicky: | natural language processing|language models|multilinguality|interpretable machine learning |
| Akademický rok vypsání: | 2019/2020 |
| Typ práce: | disertační práce |
| Jazyk práce: | angličtina |
| Ústav: | Ústav formální a aplikované lingvistiky (32-UFAL) |
| Vedoucí / školitel: | RNDr. David Mareček, Ph.D. |
| Řešitel: | skrytý - zadáno a potvrzeno stud. odd. |
| Datum přihlášení: | 20.02.2020 |
| Datum zadání: | 20.02.2020 |
| Datum potvrzení stud. oddělením: | 04.03.2020 |
| Datum a čas obhajoby: | 05.09.2024 11:00 |
| Datum odevzdání elektronické podoby: | 07.07.2024 |
| Datum odevzdání tištěné podoby: | 07.07.2024 |
| Datum proběhlé obhajoby: | 05.09.2024 |
| Oponenti: | Yonatan Belinkov, Ph.D. |
| Dr. Lena Voita | |
| Konzultanti: | Mgr. Rudolf Rosa, Ph.D. |
| Zásady pro vypracování |
| The goal of the thesis is to study internal representations of multilingual neural models and/or mapping several monolingual representations into one shared multilingual vector space. The thesis will try to answer the following questions:
How multilingual models deal with different language phenomena? How well may monolingual embedding spaces be mapped into one space? Can lexical concepts and relations between them be represented independently of language? |
| Seznam odborné literatury |
| Goodfellow, I., Y. Bengio, and A. Courville: Deep learning. Cambridge, MA, USA: MIT press, 2016
Alexis Conneau, Guillaume Lample, Marc'Aurelio Ranzato, Ludovic Denoyer, Hervé Jégou: Word Translation Without Parallel Data, arXiv, 2017 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv, 2018 Mikel Artetxe, Holger Schwenk: Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond, 2019, arXiv, 2019 Telmo Pires, Eva Schlinger, Dan Garrette: How multilingual is Multilingual BERT?, arXiv, 2019 |