In recent years, reinforcement learning has been combined with deep neural networks, giving rise to game agents with
super-human performance (for example for Go or chess, capable of being trained solely by self-play), datacenter cooling
algorithms more efficient than human operators, or faster code for sorting or matrix multiplication. The goal of the course
is to introduce reinforcement learning employing deep neural networks, focusing both on the theory and on practical
implementations.
The course is part of the inter-university programme prg.ai Minor (https://prg.ai/minor).
Last update: Mírovský Jiří, RNDr., Ph.D. (16.03.2024)
V posledních letech došlo ke zkombinování zpětnovazebního učení a hlubokých neuronových sítí, což umožnilo vznik
herních agentů s nadlidskou výkonností (například pro šachy a go, schopných natrénovaní pouze z her „sám se sebou“),
algoritmů pro řízení chlazení datacenter efektivnějších než lidští operátoři, nebo k rychlejšího kódu pro řazení či násobení
matic. Cílem kurzu je seznámení se zpětnovazebním učením využívajícím hluboké neuronové sítě, se zaměřením jak na
teorii, tak na skutečnou implementaci.
Předmět je součástí meziuniverzitního programu prg.ai Minor (https://prg.ai/minor).
Last update: Mírovský Jiří, RNDr., Ph.D. (16.03.2024)
Aim of the course -
The goal of the course is to introduce reinforcement learning combined with deep neural networks. The course will focus both on theory as well as on practical aspects.
Last update: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Cílem přednášky je seznámení se zpětnovazebním učením zkombinovaným s hlubokými neuronovými sítěmi. Přednáška se zaměří jak na teorii, tak na skutečné použití zpětnovazebního učení.
Last update: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Course completion requirements -
Students pass the practicals by scoring at least 2/3 of the points from assignments. The assignments are announced regularly throughout the semester and are due within a few weeks. Passing the practicals is not a requirement for taking the exam.
Last update: Straka Milan, RNDr., Ph.D. (31.07.2026)
Zápočet je udělován za získání alespoň 2/3 bodů ze zadaných úloh. Úlohy jsou zadávány pravidelně celý semestr a na vypracování každé z nich je několik týdnů. Získání zápočtu není podmínkou k připuštění ke zkoušce.
Last update: Straka Milan, RNDr., Ph.D. (31.07.2026)
Literature -
Richard S. Sutton and Andrew G. Barto: Reinforcement Learning: An Introduction, Second edition, 2018.
David Silver et al.: Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm https://arxiv.org/abs/1712.01815
Julian Schrittwieser et al.: Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model https://arxiv.org/abs/1911.08265
Last update: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Richard S. Sutton and Andrew G. Barto: Reinforcement Learning: An Introduction, Second edition, 2018.
David Silver et al.: Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm https://arxiv.org/abs/1712.01815
Julian Schrittwieser et al.: Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model https://arxiv.org/abs/1911.08265
Last update: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Course assessment methods and requirements for successful completion, grading scheme -
The exam is written and consists of questions randomly chosen from a publicly known list. The requirements of the exam correspond to the course syllabus, in the level of detail which was presented on the lectures.
Last update: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Zkouška je písemná a skládá se z náhodně volených otázek z předem známého seznamu. Požadavky zkoušky odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.
Last update: Mírovský Jiří, RNDr., Ph.D. (11.05.2023)
Syllabus -
Reinforcement learning framework
Tabular methods
Dynamic programming
Monte Carlo methods
Temporal-difference methods
N-step bootstrapping
Functional Approximation
Deep Q networks
Rainbow architecture
Distributional RL
Policy gradient methods
REINFORCE
REINFORCE with baseline
Actor-critic
Proximal Policy Optimization
Continuous action domain
Deep Deterministic policy gradient
Twin Delayed Deep Deterministic policy gradient
Soft Actor Critic
Monte Carlo tree search
AlphaZero architecture
Model-based algorithms
MCTS with a learned model
World models
Discrete latent variable optimization
Introduction to multiagent RL
Last update: Straka Milan, RNDr., Ph.D. (07.05.2025)
Základní rámec zpětnovazebního učení
Tabulkové metody
Dynamické programování
Monte Carlo metody
Temporal-difference metody
N-krokový bootstrapping
Functionální aproximace
Hluboké Q sítě
Rainbow architektura
Distribuované zpětnovazební učení
Policy gradient metody
REINFORCE
REINFORCE with baseline
Actor-critic
Proximal Policy Optimization
Doména spojitých akcí
Deep Deterministic policy gradient
Twin Delayed Deep Deterministic policy gradient
Soft Actor Critic
Prohledávání Monte Carlo tree search
AlphaZero architektura
Algoritmy využívající modely
MCTS s natrénovaným modelem
World modely
Optimalizace latentních diskrétních proměnných
Úvod do multiagentního zpětnovazebního učení
Last update: Straka Milan, RNDr., Ph.D. (07.05.2025)
Course registration requirements -
Python programming skills and basic PyTorch/Tensorflow skills are required (the latter can be obtained on the Deep Learning NPFL138 course). No previous knowledge of reinforcement learning is necessary.
Last update: Straka Milan, RNDr., Ph.D. (09.11.2023)
Je vyžadována znalost jazyka Python a základní znalost PyTorch/TensorFlow (tu je možné získat na předmětu Hluboké učení NPFL138). Předchozí znalosti zpětnovazebního učení nejsou nutné.
Last update: Straka Milan, RNDr., Ph.D. (09.11.2023)
