Last update: doc. Mgr. Barbora Vidová Hladká, Ph.D. (25.01.2019)
In recent years, deep neural networks have been used to solve complex machine-learning problems. They have achieved significant state-of-the-art results in many areas. The goal of the course is to introduce deep neural networks, from the basics to the latest
advances. The course focuses both on theory as well as on practical aspects (students will implement and train several deep neural networks capable of achieving state-of-the-art results, for example in image recognition, 3d object recognition, speech
recognition, image generation or playing video games).
Last update: doc. Mgr. Barbora Vidová Hladká, Ph.D. (25.01.2019)
V několika posledních letech byly hluboké neuronové sítě použity při řešení komplexních úloh strojového učení a dosáhly nejlepších známých výsledků v mnoha oblastech. Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k
nejnovějším technikám. Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí (studenti vytvoří a natrénují několik hlubokých sítí, které budou schopné dosáhnout nejlepších známých výsledků, např. v oblasti rozpoznávání
obrazu, 3d objektů, řeči, generování obrazu či hraní her).
Aim of the course -
Last update: RNDr. Milan Straka, Ph.D. (19.01.2018)
The goal of the course is to introduce deep neural networks, from the basics to the latest advances. The course will focus both on theory as well as on practical aspects.
Last update: RNDr. Milan Straka, Ph.D. (19.01.2018)
Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám. Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí.
Course completion requirements -
Last update: RNDr. Milan Straka, Ph.D. (05.06.2018)
Students pass the practicals by submitting sufficient number of assignments. The assignments are announced regularly the whole semester and are due in several weeks. Considering the rules for completing the practicals, it is not possible to retry passing it. Passing the practicals is not a requirement for going to the exam.
Last update: RNDr. Milan Straka, Ph.D. (05.06.2018)
Zápočet je udělován za vypracování dostatečného množství úloh. Úlohy jsou zadávány pravidelně celý semestr a na vypracování každé z nich je několik týdnů. Vzhledem ke způsobu obdržení zápočtu není možné jeho získání opakovat. Získání zápočtu není podmínkou k připuštění ke zkoušce.
Literature -
Last update: T_UFAL (25.04.2016)
Yoshua Bengio, Ian Goodfellow, Aaron Courville: Deep learning, MIT Press, In preparation.
Jürgen Schmidhuber: Deep learning in neural networks: An overview, Neural networks 61 (2015): 85-117.
Sepp Hochreiter, and Jürgen Schmidhuber: Long short-term memory, Neural computation 9.8 (1997): 1735-1780.
Last update: T_UFAL (25.04.2016)
Yoshua Bengio, Ian Goodfellow, Aaron Courville: Deep learning, MIT Press, In preparation.
Jürgen Schmidhuber: Deep learning in neural networks: An overview, Neural networks 61 (2015): 85-117.
Sepp Hochreiter, and Jürgen Schmidhuber: Long short-term memory, Neural computation 9.8 (1997): 1735-1780.
Requirements to the exam -
Last update: RNDr. Milan Straka, Ph.D. (15.06.2020)
The exam is written and consists of questions randomly chosen from a publicly known list. The requirements of the exam correspond to the course syllabus, in the level of detail which was presented on the lectures.
Last update: RNDr. Milan Straka, Ph.D. (15.06.2020)
Zkouška je písemná a skládá se z náhodně volených otázek z předem známého seznamu. Požadavky zkoušky odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.
Syllabus -
Last update: RNDr. Milan Straka, Ph.D. (10.05.2020)
Feedforward deep neural networks
Basic architectures and activation functions
Optimization algorithms for training deep models
Regularization of deep models
Classic regularization using parameter norm penalty
Dropout
Label smoothing
Batch normalization
Multi-task learning
Convolutional neural networks
Convolutional and pooling layers
Architectures suitable for very deep convolutional networks
State-of-the-art models for image recognition, object localization and image segmentation
Pre-training and finetuning of deep neural networks
Architektury vhodné pro velmi hluboké konvoluční sítě
Nejlepší známé modely pro rozpoznávání obrazu, detekci objektů a segmentaci obrazu
Předtrénování a finetuning hlubokých neuronovách sítí
Rekurentní neuronové sítě
Základní rekurentní sítě a problémy jejich trénování
Long short-term memory
Gated recurrent units
Obousměrné a hluboké rekurentní sítě
Enkodér-dekodér architektury typu věta na větu
Praktická metodika
Výběr vhodné architektury
Volba hyperparametrů
Zpracování přirozeného jazyka
Distribuovaná reprezentace slov
Reprezentace slov jako sekvence znaků
Transformer architektura
Nejlepší známé algoritmy pro morfologické značkování, rozpoznávání pojmenovaných entit, strojového překladu, popisování obrázků
Hluboké generativní modely
Variační autoenkodéry
Generativní protivnické (adversarial) sítě
Generování řeči
Strukturovaná predikce
CRF vrstva
CTC loss a její aplikace v nejlepších známých algoritmech rozpoznání řeči
Úvod do hlubokého zpětnovazebního učení
Neuronové sítě s externí pamění
Entry requirements -
Last update: doc. RNDr. Vladislav Kuboň, Ph.D. (05.06.2018)
Basic programming skills in Python are required. No previous knowledge of artificial neural networks is needed, but basic understanding of machine learning is advisable.
Last update: doc. RNDr. Vladislav Kuboň, Ph.D. (05.06.2018)
Je vyžadována základní znalost programování v jazyce Python. Předchozí znalosti neuronových sítí nejsou potřeba, ale je vhodné mít základní zkušenosti se strojovým učením.