Hluboké učení - NPFL114

• Anglický název: Deep Learning
• Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2023
• Semestr: letní
• E-Kredity: 7
• Rozsah, examinace: letní s.:3/2, Z+Zk [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: nevyučován
• Jazyk výuky: čeština, angličtina
• Způsob výuky: prezenční
• Způsob výuky: prezenční
• Další informace: http://ufal.mff.cuni.cz/courses/npfl114
• Garant: RNDr. Milan Straka, Ph.D.
• Neslučitelnost : NPFL138
• Záměnnost : NPFL138
• Je neslučitelnost pro: NPFL138
• Je záměnnost pro: NPFL138

Anotace

čeština

Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (25.01.2019)

V několika posledních letech byly hluboké neuronové sítě použity při řešení komplexních úloh strojového učení a dosáhly nejlepších známých výsledků v mnoha oblastech. Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám. Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí (studenti vytvoří a natrénují několik hlubokých sítí, které budou schopné dosáhnout nejlepších známých výsledků, např. v oblasti rozpoznávání obrazu, 3d objektů, řeči, generování obrazu či hraní her).

angličtina

Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (25.01.2019)

In recent years, deep neural networks have been used to solve complex machine-learning problems. They have achieved significant state-of-the-art results in many areas. The goal of the course is to introduce deep neural networks, from the basics to the latest advances. The course focuses both on theory as well as on practical aspects (students will implement and train several deep neural networks capable of achieving state-of-the-art results, for example in image recognition, 3d object recognition, speech recognition, image generation or playing video games).

Cíl předmětu

čeština

Poslední úprava: RNDr. Milan Straka, Ph.D. (19.01.2018)

Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám. Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí.

angličtina

Poslední úprava: RNDr. Milan Straka, Ph.D. (19.01.2018)

The goal of the course is to introduce deep neural networks, from the basics to the latest advances. The course will focus both on theory as well as on practical aspects.

Podmínky zakončení předmětu

čeština

Poslední úprava: RNDr. Milan Straka, Ph.D. (05.06.2018)

Zápočet je udělován za vypracování dostatečného množství úloh. Úlohy jsou zadávány pravidelně celý semestr a na vypracování každé z nich je několik týdnů. Vzhledem ke způsobu obdržení zápočtu není možné jeho získání opakovat. Získání zápočtu není podmínkou k připuštění ke zkoušce.

angličtina

Poslední úprava: RNDr. Milan Straka, Ph.D. (05.06.2018)

Students pass the practicals by submitting sufficient number of assignments. The assignments are announced regularly the whole semester and are due in several weeks. Considering the rules for completing the practicals, it is not possible to retry passing it. Passing the practicals is not a requirement for going to the exam.

Literatura

čeština

Poslední úprava: T_UFAL (25.04.2016)

Yoshua Bengio, Ian Goodfellow, Aaron Courville: Deep learning, MIT Press, In preparation.

Jürgen Schmidhuber: Deep learning in neural networks: An overview, Neural networks 61 (2015): 85-117.

Sepp Hochreiter, and Jürgen Schmidhuber: Long short-term memory, Neural computation 9.8 (1997): 1735-1780.

Požadavky ke zkoušce

čeština

Poslední úprava: RNDr. Milan Straka, Ph.D. (15.06.2020)

Zkouška je písemná a skládá se z náhodně volených otázek z předem známého seznamu. Požadavky zkoušky odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.

angličtina

Poslední úprava: RNDr. Milan Straka, Ph.D. (15.06.2020)

The exam is written and consists of questions randomly chosen from a publicly known list. The requirements of the exam correspond to the course syllabus, in the level of detail which was presented on the lectures.

Sylabus

čeština

Poslední úprava: RNDr. Milan Straka, Ph.D. (30.06.2020)

Dopředné hluboké neuronové sítě

• Základní architektury a aktivační funkce

• Optimalizační algoritmy pro trénování hlubokých modelů

Regularizace hlubokých modelů

• Klasická regularizace využívající penalizaci normou parametrů

• Dropout

• Label smoothing

• Batch normalization

• Víceúlohové učení

Konvoluční neuronové sítě

• Konvoluční a slučující (pooling) vrstvy

• Architektury vhodné pro velmi hluboké konvoluční sítě

• Nejlepší známé modely pro rozpoznávání obrazu, detekci objektů a segmentaci obrazu

• Předtrénování a finetuning hlubokých neuronovách sítí

Rekurentní neuronové sítě

• Základní rekurentní sítě a problémy jejich trénování

• Long short-term memory

• Gated recurrent units

• Obousměrné a hluboké rekurentní sítě

• Enkodér-dekodér architektury typu věta na větu

Praktická metodika

• Výběr vhodné architektury

• Volba hyperparametrů

Zpracování přirozeného jazyka

• Distribuovaná reprezentace slov

• Reprezentace slov jako sekvence znaků

• Transformer architektura

• Nejlepší známé algoritmy pro morfologické značkování, rozpoznávání pojmenovaných entit, strojového překladu, popisování obrázků

Hluboké generativní modely

• Variační autoenkodéry

• Generativní protivnické (adversarial) sítě

• Generování řeči

Strukturovaná predikce

• CRF vrstva

• CTC loss a její aplikace v nejlepších známých algoritmech rozpoznání řeči

Úvod do hlubokého zpětnovazebního učení

Neuronové sítě s externí pamění

angličtina

Poslední úprava: RNDr. Milan Straka, Ph.D. (10.05.2020)

Feedforward deep neural networks

• Basic architectures and activation functions

• Optimization algorithms for training deep models

Regularization of deep models

• Classic regularization using parameter norm penalty

• Dropout

• Label smoothing

• Batch normalization

• Multi-task learning

Convolutional neural networks

• Convolutional and pooling layers

• Architectures suitable for very deep convolutional networks

• State-of-the-art models for image recognition, object localization and image segmentation

• Pre-training and finetuning of deep neural networks

Recurrent neural networks

• Basic recurrent network, specifics of training

• Long short-term memory

• Gated recurrent units

• Bidirectional and deep recurrent networks

• Encoder-decoder sequence-to-sequence architectures

Practical methodology

• Choosing suitable architecture

• Hyperparameter selection

Natural language processing

• Distributed word representations

• Character-level word embeddings

• Transformer architecture

• State-of-the-art POS tagging, named entity recognition, machine translation, image labeling

Deep generative models

• Variational autoencoders

• Generative adversarial networks

• Speech generation

Structured prediction

• CRF layer

• CTC loss and its application in state-of-the-art speech recognition

Introduction to deep reinforcement learning

Neural networks with external memory

Vstupní požadavky

čeština

Poslední úprava: doc. RNDr. Vladislav Kuboň, Ph.D. (05.06.2018)

Je vyžadována základní znalost programování v jazyce Python. Předchozí znalosti neuronových sítí nejsou potřeba, ale je vhodné mít základní zkušenosti se strojovým učením.

angličtina

Poslední úprava: doc. RNDr. Vladislav Kuboň, Ph.D. (05.06.2018)

Basic programming skills in Python are required. No previous knowledge of artificial neural networks is needed, but basic understanding of machine learning is advisable.