Hluboké učení - NPFL138

• Anglický název: Deep Learning
• Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2023
• Semestr: letní
• E-Kredity: 8
• Rozsah, examinace: letní s.:3/4, Z+Zk [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: vyučován
• Jazyk výuky: čeština, angličtina
• Způsob výuky: prezenční
• Způsob výuky: prezenční
• Další informace: http://ufal.mff.cuni.cz/courses/npfl138
• Garant: RNDr. Milan Straka, Ph.D.
• Neslučitelnost : NPFL114
• Záměnnost : NPFL114
• Je neslučitelnost pro: NPFL114
• Je záměnnost pro: NPFL114

Anotace

čeština

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (16.03.2024)

Cílem tohoto kurzu je poskytnout komplexní úvod do hlubokých neuronových sítí, které konzistentně dosahují špičkového výkonu v různorodých oblastech. Zaměřuje se jak na teorii od základů k nejnovějším technikám, tak i na reálnou implementace hlubokých neuronových sítí v Pythonu a knihovně PyTorch (studenti naimplementují a natrénují hluboké neuronové sítě pro širokou škálu úloh zpracování obrazu, porozumění textu a generování obrazu). Předmět je součástí meziuniverzitního programu prg.ai Minor (https://prg.ai/minor).

angličtina

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (16.03.2024)

The objective of this course is to provide a comprehensive introduction to deep neural networks, which have consistently demonstrated superior performance across diverse domains. The course focuses both on theory spanning from the basics to the latest advances, as well as on practical implementations in Python and PyTorch (students implement and train deep neural networks performing a wide range of image processing, text processing, and image generation tasks). The course is part of the inter-university programme prg.ai Minor (https://prg.ai/minor).

Cíl předmětu

čeština

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (11.05.2023)

Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám. Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí.

angličtina

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (11.05.2023)

The goal of the course is to introduce deep neural networks, from the basics to the latest advances. The course will focus both on theory as well as on practical aspects.

Podmínky zakončení předmětu

čeština

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (11.05.2023)

Zápočet je udělován za vypracování dostatečného množství úloh. Úlohy jsou zadávány pravidelně celý semestr a na vypracování každé z nich je několik týdnů. Vzhledem ke způsobu obdržení zápočtu není možné jeho získání opakovat. Získání zápočtu není podmínkou k připuštění ke zkoušce.

angličtina

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (11.05.2023)

Students pass the practicals by submitting sufficient number of assignments. The assignments are announced regularly the whole semester and are due in several weeks. Considering the rules for completing the practicals, it is not possible to retry passing it. Passing the practicals is not a requirement for going to the exam.

Literatura

čeština

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (11.05.2023)

Yoshua Bengio, Ian Goodfellow, Aaron Courville: Deep learning, MIT Press, In preparation.

Jürgen Schmidhuber: Deep learning in neural networks: An overview, Neural networks 61 (2015): 85-117.

Sepp Hochreiter, and Jürgen Schmidhuber: Long short-term memory, Neural computation 9.8 (1997): 1735-1780.

Požadavky ke zkoušce

čeština

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (11.05.2023)

Zkouška je písemná a skládá se z náhodně volených otázek z předem známého seznamu. Požadavky zkoušky odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.

angličtina

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (11.05.2023)

The exam is written and consists of questions randomly chosen from a publicly known list. The requirements of the exam correspond to the course syllabus, in the level of detail which was presented on the lectures.

Sylabus

čeština

Poslední úprava: RNDr. Milan Straka, Ph.D. (07.02.2024)

Dopředné hluboké neuronové sítě

• Základní architektury a aktivační funkce

• Optimalizační algoritmy pro trénování hlubokých modelů

Regularizace hlubokých modelů

• Klasická regularizace využívající penalizaci normou parametrů

• Dropout

• Label smoothing

• Batch normalization

• Víceúlohové učení

Konvoluční neuronové sítě

• Konvoluční a slučující (pooling) vrstvy

• Architektury vhodné pro velmi hluboké konvoluční sítě

• Nejlepší známé modely pro rozpoznávání obrazu, detekci objektů a segmentaci obrazu

• Předtrénování a finetuning hlubokých neuronovách sítí

Rekurentní neuronové sítě

• Základní rekurentní sítě a problémy jejich trénování

• Long short-term memory

• Gated recurrent units

• Obousměrné a hluboké rekurentní sítě

• Enkodér-dekodér architektury typu věta na větu

Praktická metodika

• Výběr vhodné architektury

• Volba hyperparametrů

Zpracování přirozeného jazyka

• Distribuovaná reprezentace slov

• Reprezentace slov jako sekvence znaků

• Transformer architektura

• Nejlepší známé algoritmy pro morfologické značkování, rozpoznávání pojmenovaných entit, strojového překladu

Hluboké generativní modely

• Variační autoenkodéry

• Generativní protivnické (adversarial) sítě

• Difúzní modely

• Generování řeči

Strukturovaná predikce

• CTC loss a její aplikace v nejlepších známých algoritmech rozpoznání řeči

• sequence-to-sequence architektura

Úvod do hlubokého zpětnovazebního učení

angličtina

Poslední úprava: RNDr. Milan Straka, Ph.D. (07.02.2024)

Feedforward deep neural networks

• Basic architectures and activation functions

• Optimization algorithms for training deep models

Regularization of deep models

• Classic regularization using parameter norm penalty

• Dropout

• Label smoothing

• Batch normalization

• Multi-task learning

Convolutional neural networks

• Convolutional and pooling layers

• Architectures suitable for very deep convolutional networks

• State-of-the-art models for image recognition, object localization and image segmentation

• Pre-training and finetuning of deep neural networks

Recurrent neural networks

• Basic recurrent network, specifics of training

• Long short-term memory

• Gated recurrent units

• Bidirectional and deep recurrent networks

• Encoder-decoder sequence-to-sequence architectures

Practical methodology

• Choosing suitable architecture

• Hyperparameter selection

Natural language processing

• Distributed word representations

• Character-level word embeddings

• Transformer architecture

• State-of-the-art POS tagging, named entity recognition, machine translation

Deep generative models

• Variational autoencoders

• Generative adversarial networks

• Diffusion models

• Speech generation

Structured prediction

• CTC loss and its application in state-of-the-art speech recognition

• sequence-to-sequence architecture

Introduction to deep reinforcement learning

Vstupní požadavky

čeština

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (11.05.2023)

Je vyžadována základní znalost programování v jazyce Python. Předchozí znalosti neuronových sítí nejsou potřeba, ale je vhodné mít základní zkušenosti se strojovým učením.

angličtina

Poslední úprava: RNDr. Milan Straka, Ph.D. (08.11.2023)

Basic programming skills in Python are required. No previous knowledge of artificial neural networks is needed, but basic understanding of machine learning is advantageous.