PředmětyPředměty(verze: 807)
Předmět, akademický rok 2017/2018
   Přihlásit přes CAS
Hluboké učení - NPFL114
Anglický název: Deep Learning
Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
Fakulta: Matematicko-fyzikální fakulta
Platnost: od 2017
Semestr: letní
E-Kredity: 7
Rozsah, examinace: letní s.:3/2 Z+Zk [hodiny/týden]
Počet míst: neomezen
Minimální obsazenost: neomezen
Stav předmětu: vyučován
Jazyk výuky: čeština, angličtina
Způsob výuky: prezenční
Další informace: http://ufal.mff.cuni.cz/courses/npfl114
Garant: RNDr. Milan Straka, Ph.D.
Anotace -
Poslední úprava: T_UFAL (04.05.2017)

V několika posledních letech byly hluboké neuronové sítě použity při řešení komplexních úloh strojového učení a dosáhly nejlepších známých výsledků v mnoha oblastech. Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám. Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí (studenti vytvoří a natrénují několik hlubokých sítí, které budou schopné dosáhnout nejlepších známých výsledků, například v oblasti rozpoznávání obrazu, rozpoznávání pojmenovaných entit, strojového překladu, popisování obrázků či hraní počítačových
Cíl předmětu -
Poslední úprava: T_UFAL (25.04.2016)

V několika posledních letech byly hluboké neuronové sítě použity při řešení komplexních úloh strojového učení a dosáhly nejlepších známých výsledků v mnoha oblastech. Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám. Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí (studenti vytvoří a natrénují několik hlubokých sítí, které budou schopné dosáhnout nejlepších známých výsledků, například v oblasti rozpoznávání pojmenovaných entit, syntaktické analýzy, strojového překladu, popisování obrázků či hraní počítačových her). Předchozí znalosti neuronových sítí nejsou potřeba, ale je vhodné mít základní zkušenosti se strojovým učením.

Podmínky zakončení předmětu -
Poslední úprava: RNDr. Milan Straka, Ph.D. (12.10.2017)

Zápočet je udělován za vypracování dostatečného množství úloh, volitelně za individuální projekt většího rozsahu. Úlohy jsou zadávány pravidelně celý semestr a na vypracování každé z nich má student několik týdnů. Vzhledem ke způsobu obdržení zápočtu není možné jeho získání opakovat. Získání zápočtu není podmínkou k připuštění ke zkoušce.

Literatura -
Poslední úprava: T_UFAL (25.04.2016)

Yoshua Bengio, Ian Goodfellow, Aaron Courville: Deep learning, MIT Press, In preparation.

Jürgen Schmidhuber: Deep learning in neural networks: An overview, Neural networks 61 (2015): 85-117.

Sepp Hochreiter, and Jürgen Schmidhuber: Long short-term memory, Neural computation 9.8 (1997): 1735-1780.

Požadavky ke zkoušce -
Poslední úprava: RNDr. Milan Straka, Ph.D. (12.10.2017)

Zkouška sestává z písemné a bez přestávky navazující ústní části. Po vypracování písemné části student spolu s vyučujícím projdou odevzdané řešení a student reaguje na dotazy ke svému řešení a odpovídá na doplňující otázky.

Požadavky zkoušky odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.

Sylabus -
Poslední úprava: T_UFAL (04.05.2017)

Dopředné hluboké neuronové sítě

  • - Základní architektury a aktivační funkce
  • - Optimalizační algoritmy pro trénování hlubokých modelů

Regularizace hlubokých modelů

  • - Klasická regularizace využívající penalizaci normou parametrů
  • - Dropout
  • - Batch Normalization
  • - Víceúlohové učení

Konvoluční neuronové sítě

  • - Konvoluční a slučující (pooling) vrstvy
  • - Architektury vhodné pro velmi hluboké konvoluční sítě
  • - Nejlepší známé modely pro rozpoznávání obrazu, detekci objektů a segmentaci obrazu

Rekurentní neuronové sítě

  • - Základní rekurentní sítě a problémy jejich trénování
  • - Long short-term memory
  • - Gated recurrent units
  • - Obousměrné a hluboké rekurentní sítě
  • - Enkodér-dekodér architektury typu věta na větu

Praktická metodika

  • - Výběr vhodné architektury
  • - Volba hyperparametrů

Zpracování přirozeného jazyka

  • - Distribuovaná reprezentace slov
  • - Reprezentace slov jako sekvence znaků
  • - Nejlepší známé algoritmy pro morfologické značkování, rozpoznávání pojmenovaných entit, strojového překladu, popisování obrázků

Zpětnovazební (reinforcement) učení a hluboké zpětnovazební učení

Hluboké generativní modely

  • - Variační autoenkodéry
  • - Generativní protivnické (adversarial) sítě

Nejnovější pokroky v roce 2017

Vstupní požadavky -
Poslední úprava: T_UFAL (04.05.2017)

Předchozí znalosti neuronových sítí nejsou potřeba, ale je vhodné mít základní zkušenosti se strojovým učením.

 
Univerzita Karlova | Informační systém UK