Neural machine translation recently became a new interesting and successful paradigm. The new paradigm
brings new theoretical concepts and new ways of seeing the classic problems of machine translation. The goal of
this seminar is to familiarize the students with the theoretical framework of neural machine translation in such
depth that would allow them to study the most recent academic papers on this topic.
Last update: T_UFAL (09.01.2017)
Neuronový strojový překlad se v posledních letech stal novým zajímavým a úspěšným paradigmatem strojového
překladu. S novým paradigmatem přichází nové teoretické koncepty a způsob, jakým se nahlíží na (staré známé)
problémy strojového překladu. Cílem tohoto semináře je seznámit studenty do hloubky s koncepty neuronového
strojového překladu takovým způsobem, aby byli schopni samostatně studovat vědecké články, které prezentují
nová zlepšení v rámci neuronového strojového překladu.
Aim of the course - Czech
Last update: T_UFAL (09.01.2017)
Na prvních šesti seminářích se studenti formou přednášky a diskuse seznámí s následujícími tématy:
Rekurentní neuronové sítě a s nimi spojená matematická intuice
Sequence-to-sequence learning
Attention model a jeho varianty
Řešení problému omezeného slovníku
Pokročilé metody trénování (minimum risk training, zpětnovazební učení)
Ve zbývající části semestru budou formou studentských referátů prezentovány předem vybrané články z odborných konferencí a časopisů. V následující moderované diskuzi se studenti pokusí navrhnout, jak by bylo možné obsah probíraného článku naprogramovat.
Zápočet bude možné získat za:
Včasné písemné zodpovězení otázek k prezentovaným článkům a
Přednesení referátu k vybranému článku nebo fungující implementaci některého ze článků
Literature -
Last update: T_UFAL (09.01.2017)
Goodfellow, Ian, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016. (chapters 10-12).
Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. "Sequence to sequence learning with neural networks." Advances in neural information processing systems. 2014.
Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).
Sennrich, Rico, Barry Haddow, and Alexandra Birch. "Neural machine translation of rare words with subword units." arXiv preprint arXiv:1508.07909 (2015).
Shen, Shiqi, et al. "Minimum risk training for neural machine translation." arXiv preprint arXiv:1512.02433 (2015).
Wu, Yonghui, et al. "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation." arXiv preprint arXiv:1609.08144 (2016).
Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. "Sequence to sequence learning with neural networks." Advances in neural information processing systems. 2014.
Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).
Sennrich, Rico, Barry Haddow, and Alexandra Birch. "Neural machine translation of rare words with subword units." arXiv preprint arXiv:1508.07909 (2015).
Shen, Shiqi, et al. "Minimum risk training for neural machine translation." arXiv preprint arXiv:1512.02433 (2015).
Wu, Yonghui, et al. "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation." arXiv preprint arXiv:1609.08144 (2016).
