PředmětyPředměty(verze: 811)
Předmět, akademický rok 2017/2018
   Přihlásit přes CAS
Kompendium neuronového strojového překladu - NPFL116
Anglický název: Compendium of the Neural Machine Translation
Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
Fakulta: Matematicko-fyzikální fakulta
Platnost: od 2017
Semestr: letní
E-Kredity: 3
Rozsah, examinace: letní s.:0/2 Z [hodiny/týden]
Počet míst: neomezen
Minimální obsazenost: neomezen
Stav předmětu: vyučován
Jazyk výuky: čeština, angličtina
Způsob výuky: prezenční
Garant: Mgr. Jindřich Libovický
Mgr. Jindřich Helcl
Anotace -
Poslední úprava: T_UFAL (09.01.2017)

Neuronový strojový překlad se v posledních letech stal novým zajímavým a úspěšným paradigmatem strojového překladu. S novým paradigmatem přichází nové teoretické koncepty a způsob, jakým se nahlíží na (staré známé) problémy strojového překladu. Cílem tohoto semináře je seznámit studenty do hloubky s koncepty neuronového strojového překladu takovým způsobem, aby byli schopni samostatně studovat vědecké články, které prezentují nová zlepšení v rámci neuronového strojového překladu.
Cíl předmětu
Poslední úprava: T_UFAL (09.01.2017)

Na prvních šesti seminářích se studenti formou přednášky a diskuse seznámí s následujícími tématy:

Rekurentní neuronové sítě a s nimi spojená matematická intuice

Sequence-to-sequence learning

Attention model a jeho varianty

Řešení problému omezeného slovníku

Pokročilé metody trénování (minimum risk training, zpětnovazební učení)

Ve zbývající části semestru budou formou studentských referátů prezentovány předem vybrané články z odborných konferencí a časopisů. V následující moderované diskuzi se studenti pokusí navrhnout, jak by bylo možné obsah probíraného článku naprogramovat.

Zápočet bude možné získat za:

Včasné písemné zodpovězení otázek k prezentovaným článkům a

Přednesení referátu k vybranému článku nebo fungující implementaci některého ze článků

Literatura -
Poslední úprava: T_UFAL (09.01.2017)

Goodfellow, Ian, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016. (chapters 10-12).

LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." Nature 521.7553 (2015): 436-444.

Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. "Sequence to sequence learning with neural networks." Advances in neural information processing systems. 2014.

Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).

Sennrich, Rico, Barry Haddow, and Alexandra Birch. "Neural machine translation of rare words with subword units." arXiv preprint arXiv:1508.07909 (2015).

Shen, Shiqi, et al. "Minimum risk training for neural machine translation." arXiv preprint arXiv:1512.02433 (2015).

Wu, Yonghui, et al. "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation." arXiv preprint arXiv:1609.08144 (2016).

Johnson, Melvin, et al. "Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation." arXiv preprint arXiv:1611.04558 (2016).

 
Univerzita Karlova | Informační systém UK