PředmětyPředměty(verze: 964)
Předmět, akademický rok 2024/2025
   Přihlásit přes CAS
Hluboké učení - NPFL138
Anglický název: Deep Learning
Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
Fakulta: Matematicko-fyzikální fakulta
Platnost: od 2023
Semestr: letní
E-Kredity: 8
Rozsah, examinace: letní s.:3/4, Z+Zk [HT]
Počet míst: neomezen
Minimální obsazenost: neomezen
4EU+: ne
Virtuální mobilita / počet míst pro virtuální mobilitu: ne
Stav předmětu: vyučován
Jazyk výuky: čeština, angličtina
Způsob výuky: prezenční
Další informace: http://ufal.mff.cuni.cz/courses/npfl138
Garant: RNDr. Milan Straka, Ph.D.
Vyučující: RNDr. Milan Straka, Ph.D.
Neslučitelnost : NPFL114
Záměnnost : NPFL114
Je neslučitelnost pro: NPFL114
Je záměnnost pro: NPFL114
Anotace -
Cílem tohoto kurzu je poskytnout komplexní úvod do hlubokých neuronových sítí, které konzistentně dosahují špičkového výkonu v různorodých oblastech. Zaměřuje se jak na teorii od základů k nejnovějším technikám, tak i na reálnou implementace hlubokých neuronových sítí v Pythonu a knihovně PyTorch (studenti naimplementují a natrénují hluboké neuronové sítě pro širokou škálu úloh zpracování obrazu, porozumění textu a generování obrazu). Předmět je součástí meziuniverzitního programu prg.ai Minor (https://prg.ai/minor).
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (16.03.2024)
Cíl předmětu -

Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám. Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Podmínky zakončení předmětu -

Zápočet je udělován za vypracování dostatečného množství úloh. Úlohy jsou zadávány pravidelně celý semestr a na vypracování každé z nich je několik týdnů. Vzhledem ke způsobu obdržení zápočtu není možné jeho získání opakovat. Získání zápočtu není podmínkou k připuštění ke zkoušce.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Literatura -

Yoshua Bengio, Ian Goodfellow, Aaron Courville: Deep learning, MIT Press, In preparation.

Jürgen Schmidhuber: Deep learning in neural networks: An overview, Neural networks 61 (2015): 85-117.

Sepp Hochreiter, and Jürgen Schmidhuber: Long short-term memory, Neural computation 9.8 (1997): 1735-1780.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Požadavky ke zkoušce -

Zkouška je písemná a skládá se z náhodně volených otázek z předem známého seznamu. Požadavky zkoušky odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Sylabus -

Dopředné hluboké neuronové sítě

  • Základní architektury a aktivační funkce
  • Optimalizační algoritmy pro trénování hlubokých modelů

Regularizace hlubokých modelů

  • Klasická regularizace využívající penalizaci normou parametrů
  • Dropout
  • Label smoothing
  • Batch normalization
  • Víceúlohové učení

Konvoluční neuronové sítě

  • Konvoluční a slučující (pooling) vrstvy
  • Architektury vhodné pro velmi hluboké konvoluční sítě
  • Nejlepší známé modely pro rozpoznávání obrazu, detekci objektů a segmentaci obrazu
  • Předtrénování a finetuning hlubokých neuronovách sítí

Rekurentní neuronové sítě

  • Základní rekurentní sítě a problémy jejich trénování
  • Long short-term memory
  • Gated recurrent units
  • Obousměrné a hluboké rekurentní sítě
  • Enkodér-dekodér architektury typu věta na větu

Praktická metodika

  • Výběr vhodné architektury
  • Volba hyperparametrů

Zpracování přirozeného jazyka

  • Distribuovaná reprezentace slov
  • Reprezentace slov jako sekvence znaků
  • Transformer architektura
  • Nejlepší známé algoritmy pro morfologické značkování, rozpoznávání pojmenovaných entit, strojového překladu

Hluboké generativní modely

  • Variační autoenkodéry
  • Generativní protivnické (adversarial) sítě
  • Difúzní modely
  • Generování řeči

Strukturovaná predikce

  • CTC loss a její aplikace v nejlepších známých algoritmech rozpoznání řeči
  • sequence-to-sequence architektura

Úvod do hlubokého zpětnovazebního učení

Poslední úprava: Straka Milan, RNDr., Ph.D. (07.02.2024)
Vstupní požadavky -

Je vyžadována základní znalost programování v jazyce Python. Předchozí znalosti neuronových sítí nejsou potřeba, ale je vhodné mít základní zkušenosti se strojovým učením.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
 
Univerzita Karlova | Informační systém UK