PředmětyPředměty(verze: 821)
Předmět, akademický rok 2017/2018
   Přihlásit přes CAS
Hluboké učení - NPFL114
Anglický název: Deep Learning
Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
Fakulta: Matematicko-fyzikální fakulta
Platnost: od 2017
Semestr: letní
E-Kredity: 7
Rozsah, examinace: letní s.:3/2 Z+Zk [hodiny/týden]
Počet míst: neomezen
Minimální obsazenost: neomezen
Stav předmětu: vyučován
Jazyk výuky: čeština, angličtina
Způsob výuky: prezenční
Další informace: http://ufal.mff.cuni.cz/courses/npfl114
Garant: RNDr. Milan Straka, Ph.D.
Anotace -
Poslední úprava: Mgr. Barbora Vidová Hladká, Ph.D. (25.01.2018)

V několika posledních letech byly hluboké neuronové sítě použity při řešení komplexních úloh strojového učení a dosáhly nejlepších známých výsledků v mnoha oblastech. Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám. Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí (studenti vytvoří a natrénují několik hlubokých sítí, které budou schopné dosáhnout nejlepších známých výsledků, například v oblasti rozpoznávání obrazu, rozpoznávání pojmenovaných entit, strojového překladu, popisování obrázků či hraní počítačových
Cíl předmětu -
Poslední úprava: RNDr. Milan Straka, Ph.D. (19.01.2018)

Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám. Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí.

Podmínky zakončení předmětu -
Poslední úprava: RNDr. Milan Straka, Ph.D. (12.10.2017)

Zápočet je udělován za vypracování dostatečného množství úloh, volitelně za individuální projekt většího rozsahu. Úlohy jsou zadávány pravidelně celý semestr a na vypracování každé z nich má student několik týdnů. Vzhledem ke způsobu obdržení zápočtu není možné jeho získání opakovat. Získání zápočtu není podmínkou k připuštění ke zkoušce.

Literatura -
Poslední úprava: T_UFAL (25.04.2016)

Yoshua Bengio, Ian Goodfellow, Aaron Courville: Deep learning, MIT Press, In preparation.

Jürgen Schmidhuber: Deep learning in neural networks: An overview, Neural networks 61 (2015): 85-117.

Sepp Hochreiter, and Jürgen Schmidhuber: Long short-term memory, Neural computation 9.8 (1997): 1735-1780.

Požadavky ke zkoušce -
Poslední úprava: RNDr. Milan Straka, Ph.D. (12.10.2017)

Zkouška sestává z písemné a bez přestávky navazující ústní části. Po vypracování písemné části student spolu s vyučujícím projdou odevzdané řešení a student reaguje na dotazy ke svému řešení a odpovídá na doplňující otázky.

Požadavky zkoušky odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.

Sylabus -
Poslední úprava: T_UFAL (04.05.2017)

Dopředné hluboké neuronové sítě

  • - Základní architektury a aktivační funkce
  • - Optimalizační algoritmy pro trénování hlubokých modelů

Regularizace hlubokých modelů

  • - Klasická regularizace využívající penalizaci normou parametrů
  • - Dropout
  • - Batch Normalization
  • - Víceúlohové učení

Konvoluční neuronové sítě

  • - Konvoluční a slučující (pooling) vrstvy
  • - Architektury vhodné pro velmi hluboké konvoluční sítě
  • - Nejlepší známé modely pro rozpoznávání obrazu, detekci objektů a segmentaci obrazu

Rekurentní neuronové sítě

  • - Základní rekurentní sítě a problémy jejich trénování
  • - Long short-term memory
  • - Gated recurrent units
  • - Obousměrné a hluboké rekurentní sítě
  • - Enkodér-dekodér architektury typu věta na větu

Praktická metodika

  • - Výběr vhodné architektury
  • - Volba hyperparametrů

Zpracování přirozeného jazyka

  • - Distribuovaná reprezentace slov
  • - Reprezentace slov jako sekvence znaků
  • - Nejlepší známé algoritmy pro morfologické značkování, rozpoznávání pojmenovaných entit, strojového překladu, popisování obrázků

Zpětnovazební (reinforcement) učení a hluboké zpětnovazební učení

Hluboké generativní modely

  • - Variační autoenkodéry
  • - Generativní protivnické (adversarial) sítě

Nejnovější pokroky v roce 2017

Vstupní požadavky -
Poslední úprava: T_UFAL (04.05.2017)

Předchozí znalosti neuronových sítí nejsou potřeba, ale je vhodné mít základní zkušenosti se strojovým učením.

 
Univerzita Karlova | Informační systém UK