Cílem tohoto kurzu je poskytnout komplexní úvod do hlubokých neuronových sítí, které konzistentně dosahují
špičkového výkonu v různorodých oblastech. Zaměřuje se jak na teorii od základů k nejnovějším technikám, tak i na
reálnou implementace hlubokých neuronových sítí v Pythonu a knihovně PyTorch (studenti naimplementují a natrénují
hluboké neuronové sítě pro širokou škálu úloh zpracování obrazu, porozumění textu a generování obrazu).
Předmět je součástí meziuniverzitního programu prg.ai Minor (https://prg.ai/minor).
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (16.03.2024)
The objective of this course is to provide a comprehensive introduction to deep neural networks, which have consistently
demonstrated superior performance across diverse domains. The course focuses both on theory spanning from the
basics to the latest advances, as well as on practical implementations in Python and PyTorch (students implement and
train deep neural networks performing a wide range of image processing, text processing, and image generation tasks).
The course is part of the inter-university programme prg.ai Minor (https://prg.ai/minor).
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (16.03.2024)
Cíl předmětu -
Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám. Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
The goal of the course is to introduce deep neural networks, from the basics to the latest advances. The course will focus both on theory as well as on practical aspects.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Podmínky zakončení předmětu -
Zápočet je udělován za vypracování dostatečného množství úloh. Úlohy jsou zadávány pravidelně celý semestr a na vypracování každé z nich je několik týdnů. Vzhledem ke způsobu obdržení zápočtu není možné jeho získání opakovat. Získání zápočtu není podmínkou k připuštění ke zkoušce.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Students pass the practicals by submitting sufficient number of assignments. The assignments are announced regularly the whole semester and are due in several weeks. Considering the rules for completing the practicals, it is not possible to retry passing it. Passing the practicals is not a requirement for going to the exam.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Literatura -
Yoshua Bengio, Ian Goodfellow, Aaron Courville: Deep learning, MIT Press, In preparation.
Jürgen Schmidhuber: Deep learning in neural networks: An overview, Neural networks 61 (2015): 85-117.
Sepp Hochreiter, and Jürgen Schmidhuber: Long short-term memory, Neural computation 9.8 (1997): 1735-1780.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Yoshua Bengio, Ian Goodfellow, Aaron Courville: Deep learning, MIT Press, In preparation.
Jürgen Schmidhuber: Deep learning in neural networks: An overview, Neural networks 61 (2015): 85-117.
Sepp Hochreiter, and Jürgen Schmidhuber: Long short-term memory, Neural computation 9.8 (1997): 1735-1780.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Požadavky ke zkoušce -
Zkouška je písemná a skládá se z náhodně volených otázek z předem známého seznamu. Požadavky zkoušky odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
The exam is written and consists of questions randomly chosen from a publicly known list. The requirements of the exam correspond to the course syllabus, in the level of detail which was presented on the lectures.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Sylabus -
Dopředné hluboké neuronové sítě
Základní architektury a aktivační funkce
Optimalizační algoritmy pro trénování hlubokých modelů
State-of-the-art POS tagging, named entity recognition, machine translation
Deep generative models
Variational autoencoders
Generative adversarial networks
Diffusion models
Speech generation
Structured prediction
CTC loss and its application in state-of-the-art speech recognition
sequence-to-sequence architecture
Introduction to deep reinforcement learning
Poslední úprava: Straka Milan, RNDr., Ph.D. (07.02.2024)
Vstupní požadavky -
Je vyžadována základní znalost programování v jazyce Python. Předchozí znalosti neuronových sítí nejsou potřeba, ale je vhodné mít základní zkušenosti se strojovým učením.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Basic programming skills in Python are required. No previous knowledge of artificial neural networks is needed, but basic understanding of machine learning is advantageous.
Poslední úprava: Straka Milan, RNDr., Ph.D. (08.11.2023)