PředmětyPředměty(verze: 845)
Předmět, akademický rok 2019/2020
   Přihlásit přes CAS
Hluboké učení - NPFL114
Anglický název: Deep Learning
Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
Fakulta: Matematicko-fyzikální fakulta
Platnost: od 2018
Semestr: letní
E-Kredity: 7
Rozsah, examinace: letní s.:3/2 Z+Zk [hodiny/týden]
Počet míst: neomezen
Minimální obsazenost: neomezen
Stav předmětu: vyučován
Jazyk výuky: čeština, angličtina
Způsob výuky: prezenční
Další informace: http://ufal.mff.cuni.cz/courses/npfl114
Garant: RNDr. Milan Straka, Ph.D.
Anotace -
Poslední úprava: Mgr. Barbora Vidová Hladká, Ph.D. (25.01.2019)
V několika posledních letech byly hluboké neuronové sítě použity při řešení komplexních úloh strojového učení a dosáhly nejlepších známých výsledků v mnoha oblastech. Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám. Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí (studenti vytvoří a natrénují několik hlubokých sítí, které budou schopné dosáhnout nejlepších známých výsledků, např. v oblasti rozpoznávání obrazu, 3d objektů, řeči, generování obrazu či hraní her).
Cíl předmětu -
Poslední úprava: RNDr. Milan Straka, Ph.D. (19.01.2018)

Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám. Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí.

Podmínky zakončení předmětu -
Poslední úprava: RNDr. Milan Straka, Ph.D. (05.06.2018)

Zápočet je udělován za vypracování dostatečného množství úloh. Úlohy jsou zadávány pravidelně celý semestr a na vypracování každé z nich je několik týdnů. Vzhledem ke způsobu obdržení zápočtu není možné jeho získání opakovat. Získání zápočtu není podmínkou k připuštění ke zkoušce.

Literatura -
Poslední úprava: T_UFAL (25.04.2016)

Yoshua Bengio, Ian Goodfellow, Aaron Courville: Deep learning, MIT Press, In preparation.

Jürgen Schmidhuber: Deep learning in neural networks: An overview, Neural networks 61 (2015): 85-117.

Sepp Hochreiter, and Jürgen Schmidhuber: Long short-term memory, Neural computation 9.8 (1997): 1735-1780.

Požadavky ke zkoušce -
Poslední úprava: doc. RNDr. Vladislav Kuboň, Ph.D. (05.06.2018)

Zkouška sestává z písemné části a z nepovinné ústní části, kde studenti mohou reagovat na dotazy ke svému řešení a odpovídat na doplňující otázky.

Požadavky zkoušky odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.

Sylabus -
Poslední úprava: Mgr. Barbora Vidová Hladká, Ph.D. (13.05.2019)

Dopředné hluboké neuronové sítě

  • Základní architektury a aktivační funkce
  • Optimalizační algoritmy pro trénování hlubokých modelů

Regularizace hlubokých modelů

  • Klasická regularizace využívající penalizaci normou parametrů
  • Dropout
  • Label smoothing
  • Batch normalization
  • Víceúlohové učení

Konvoluční neuronové sítě

  • Konvoluční a slučující (pooling) vrstvy
  • Architektury vhodné pro velmi hluboké konvoluční sítě
  • Nejlepší známé modely pro rozpoznávání obrazu, detekci objektů a segmentaci obrazu

Rekurentní neuronové sítě

  • Základní rekurentní sítě a problémy jejich trénování
  • Long short-term memory
  • Gated recurrent units
  • Obousměrné a hluboké rekurentní sítě
  • Enkodér-dekodér architektury typu věta na větu

Praktická metodika

  • Výběr vhodné architektury
  • Volba hyperparametrů

Zpracování přirozeného jazyka

  • Distribuovaná reprezentace slov
  • Reprezentace slov jako sekvence znaků
  • Nejlepší známé algoritmy pro morfologické značkování, rozpoznávání pojmenovaných entit, strojového překladu, popisování obrázků

Hluboké generativní modely

  • Variační autoenkodéry
  • Generativní protivnické (adversarial) sítě

Strukturovaná predikce

  • CRF vrstva
  • CTC loss a její aplikace v nejlepších známých algoritmech rozpoznání řeči

Úvod do hlubokého zpětnovazebního učení

Vstupní požadavky -
Poslední úprava: doc. RNDr. Vladislav Kuboň, Ph.D. (05.06.2018)

Je vyžadována základní znalost programování v jazyce Python. Předchozí znalosti neuronových sítí nejsou potřeba, ale je vhodné mít základní zkušenosti se strojovým učením.

 
Univerzita Karlova | Informační systém UK