Neural Language Models with Morphology for Machine Translation

• Thesis title in Czech: Neuronové jazykové modely zohledňující morfologii pro strojový překlad
• Thesis title in English: Neural Language Models with Morphology for Machine Translation
• Key words: jazykový model, neuronové sítě, morfologie
• English key words: language model, neural network, morphology
• Academic year of topic announcement: 2014/2015
• Thesis type: diploma thesis
• Thesis language: angličtina
• Department: Institute of Formal and Applied Linguistics (32-UFAL)
• Supervisor: doc. RNDr. Ondřej Bojar, Ph.D.
• Author: hidden - assigned and confirmed by the Study Dept.
• Date of registration: 05.02.2015
• Date of assignment: 05.02.2015
• Confirmed by Study dept. on: 19.02.2015
• Date and time of defence: 07.09.2017 12:00
• Date of electronic submission: 21.07.2017
• Date of submission of printed version: 21.07.2017
• Date of proceeded defence: 07.09.2017
• Opponents: RNDr. Jana Straková, Ph.D.

Guidelines

V poslední době se stále častěji daří ve strojovém překladu nasazovat spojité reprezentace slov a sousloví, typicky implementované pomocí neuronových sítí. Důvodem úspěchu je pravděpodobně větší flexibilita tohoto aparátu při vyhlazování. Dosavadní modely však nadále pracují pouze se slovními formami a veškerá morfologická zobecnění se model učí (nepřesně) sám z dat. Pro řadu jazyků a speciálně pro češtinu jsou přitom k dispozici morfologické slovníky s vynikajícím pokrytím a i automatické morfologické značkování dosahuje dostatečné přesnosti.

Cílem diplomové práce je prostudovat existující jazykové modely založené na neuronových sítích a navrhnout vlastní strukturu neuronové sítě, která bude mít možnost kromě slovních forem explicitně pracovat i s morfologickou informací. Síť může dostávat surové morfologické příznaky, z nichž se např. sama může naučit, kde je žádoucí dodržet tvaroslovnou shodu.

Navržený model může pro jednoduchost předpokládat, že trénovací i vstupní data jsou označkována jednoznačně, jako vhodné rozšíření by však bylo dobré pro lepší robustnost modelu do sítě zahrnout i práci s neurčitostí, s více možnými morfologickými interpretacemi vstupu.

Práce bude empiricky vyhodnocena jak izolovaně (např. perplexitou jazykového modelu), tak v kontextu strojového překladu z angličtiny do češtiny.

References

Yoshua Bengio, Réjean Ducharme, Pascal Vincent, and Christian Jauvin. A neural probabilistic language model. Journal of Machine Learning Research, 2003.

Ashish Vaswani, Yinggong Zhao, Victoria Fossum, and David Chiang. Decoding with large-scale neural language models improves translation. In EMNLP, pages 1387–1392. Citeseer, 2013.

Paul Baltescu, Phil Blunsom, and Hieu Hoang. Oxlm: A neural language modelling framework for machine translation. The Prague Bulletin of Mathematical Linguistics, 102(1):81–92, 2014.

Devlin, Jacob and Zbib, Rabih and Huang, Zhongqiang and Lamar, Thomas and Schwartz, Richard and Makhoul, John. Fast and Robust Neural Network Joint Models for Statistical Machine Translation. Association for Computational Linguistics. p. 1370--1380 2014 http://aclweb.org/anthology/P14-1129