PředmětyPředměty(verze: 835)
Předmět, akademický rok 2018/2019
   Přihlásit přes CAS
Kompendium neuronového strojového překladu - NPFL116
Anglický název: Compendium of the Neural Machine Translation
Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
Fakulta: Matematicko-fyzikální fakulta
Platnost: od 2017
Semestr: letní
E-Kredity: 3
Rozsah, examinace: letní s.:0/2 Z [hodiny/týden]
Počet míst: neomezen
Minimální obsazenost: neomezen
Stav předmětu: vyučován
Jazyk výuky: čeština, angličtina
Způsob výuky: prezenční
Garant: Mgr. Jindřich Libovický
Mgr. Jindřich Helcl
Anotace -
Poslední úprava: doc. RNDr. Vladislav Kuboň, Ph.D. (05.06.2018)

Neuronový strojový překlad se v posledních letech stal novým zajímavým a úspěšným paradigmatem strojového překladu. S novým paradigmatem přichází nové teoretické koncepty a způsob, jakým se nahlíží na (staré známé) problémy strojového překladu. Cílem tohoto semináře je seznámit studenty do hloubky s koncepty neuronového strojového překladu takovým způsobem, aby byli schopni samostatně studovat vědecké články, které prezentují nová zlepšení v rámci neuronového strojového překladu.
Cíl předmětu
Poslední úprava: doc. RNDr. Vladislav Kuboň, Ph.D. (05.06.2018)

Na prvních šesti seminářích se studenti formou přednášky a diskuse seznámí s následujícími tématy:

Rekurentní neuronové sítě a s nimi spojená matematická intuice

Sequence-to-sequence learning

Attention model a jeho varianty

Řešení problému omezeného slovníku

Pokročilé metody trénování (minimum risk training, zpětnovazební učení)

Ve zbývající části semestru budou formou studentských referátů prezentovány předem vybrané články z odborných konferencí a časopisů. V následující moderované diskuzi se studenti pokusí navrhnout, jak by bylo možné obsah probíraného článku naprogramovat.

Zápočet bude možné získat za:

Včasné písemné zodpovězení otázek k prezentovaným článkům a

Přednesení referátu k vybranému článku nebo fungující implementaci některého ze článků

Podmínky zakončení předmětu -
Poslední úprava: doc. RNDr. Vladislav Kuboň, Ph.D. (05.06.2018)

Zápočet je udělován za vypracování dostatečného množství úloh. Úlohy jsou zadávány pravidelně celý semestr a na vypracování každé z nich je několik týdnů. Vzhledem ke způsobu obdržení zápočtu není možné jeho získání opakovat. Získání zápočtu není podmínkou k připuštění ke zkoušce.

Zkouška sestává z písemné části a z nepovinné ústní části, kde studenti mohou reagovat na dotazy ke svému řešení a odpovídat na doplňující otázky.

Požadavky zkoušky odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.

Literatura -
Poslední úprava: doc. RNDr. Vladislav Kuboň, Ph.D. (05.06.2018)

Goodfellow, Ian, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016. (chapters 10-12).

LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." Nature 521.7553 (2015): 436-444.

Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. "Sequence to sequence learning with neural networks." Advances in neural information processing systems. 2014.

Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).

Sennrich, Rico, Barry Haddow, and Alexandra Birch. "Neural machine translation of rare words with subword units." arXiv preprint arXiv:1508.07909 (2015).

Shen, Shiqi, et al. "Minimum risk training for neural machine translation." arXiv preprint arXiv:1512.02433 (2015).

Wu, Yonghui, et al. "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation." arXiv preprint arXiv:1609.08144 (2016).

Johnson, Melvin, et al. "Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation." arXiv preprint arXiv:1611.04558 (2016).

Sylabus
Poslední úprava: doc. RNDr. Vladislav Kuboň, Ph.D. (05.06.2018)

Dopředné hluboké neuronové sítě

  • Základní architektury a aktivační funkce
  • Optimalizační algoritmy pro trénování hlubokých modelů

Regularizace hlubokých modelů

  • Klasická regularizace využívající penalizaci normou parametrů
  • Dropout
  • Batch Normalization
  • Víceúlohové učení

Konvoluční neuronové sítě

  • Konvoluční a slučující (pooling) vrstvy
  • Architektury vhodné pro velmi hluboké konvoluční sítě
  • Nejlepší známé modely pro rozpoznávání obrazu, detekci objektů a segmentaci obrazu

Rekurentní neuronové sítě

  • Základní rekurentní sítě a problémy jejich trénování
  • Long short-term memory
  • Gated recurrent units
  • Obousměrné a hluboké rekurentní sítě
  • Enkodér-dekodér architektury typu věta na větu

Praktická metodika

  • Výběr vhodné architektury
  • Volba hyperparametrů

Zpracování přirozeného jazyka

  • Distribuovaná reprezentace slov
  • Reprezentace slov jako sekvence znaků
  • Nejlepší známé algoritmy pro morfologické značkování, rozpoznávání pojmenovaných entit, strojového překladu, popisování obrázků

Hluboké generativní modely

  • Variační autoenkodéry
  • Generativní protivnické (adversarial) sítě

Structured prediction

  • CRF vrstva
  • CTC loss a její aplikace v nejlepších známých algoritmech rozpoznání řeči

Úvod do hlubokého zpětnovazebního učení

 
Univerzita Karlova | Informační systém UK