Cílem přednášky je seznámení se zpětnovazebním učením zkombinovaným s hlubokými neuronovými sítěmi. Přednáška se zaměří jak na teorii, tak na skutečné použití zpětnovazebního učení.

The goal of the course is to introduce reinforcement learning combined with deep neural networks. The course will focus both on theory as well as on practical aspects.

Zápočet je udělován za vypracování dostatečného množství úloh. Úlohy jsou zadávány pravidelně celý semestr a na vypracování každé z nich je několik týdnů. Vzhledem ke způsobu obdržení zápočtu není možné jeho získání opakovat. Získání zápočtu není podmínkou k připuštění ke zkoušce.

Students pass the practicals by submitting sufficient number of assignments. The assignments are announced regularly the whole semester and are due in several weeks. Considering the rules for completing the practicals, it is not possible to retry passing it. Passing the practicals is not a requirement for going to the exam.

• Richard S. Sutton and Andrew G. Barto: Reinforcement Learning: An Introduction, Second edition, 2018.

• David Silver et al.: Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm https://arxiv.org/abs/1712.01815

• Julian Schrittwieser et al.: Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model https://arxiv.org/abs/1911.08265

• Richard S. Sutton and Andrew G. Barto: Reinforcement Learning: An Introduction, Second edition, 2018.

• David Silver et al.: Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm https://arxiv.org/abs/1712.01815

• Julian Schrittwieser et al.: Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model https://arxiv.org/abs/1911.08265

Zkouška je písemná a skládá se z náhodně volených otázek z předem známého seznamu. Požadavky zkoušky odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.

The exam is written and consists of questions randomly chosen from a publicly known list. The requirements of the exam correspond to the course syllabus, in the level of detail which was presented on the lectures.

Základní rámec zpětnovazebního učení

Tabulkové metody

• Dynamické programování

• Monte Carlo metody

• Temporal-difference metody

• N-krokový bootstrapping

Functionální aproximace

Hluboké Q sítě

Policy gradient metody

• REINFORCE

• REINFORCE with baseline

• Actor-critic

• Trust Region Policy Optimization

• Proximal Policy Optimization

Doména spojitých akcí

• Deep Deterministic policy gradient

• Twin Delayed Deep Deterministic policy gradient

Prohledávání Monte Carlo tree search

• AlphaZero architektura

Algoritmy využívající modely

• MCTS s natrénovaným modelem

Částečně pozorovatelná prostředí

Optimalizace diskrétních proměnných

Reinforcement learning framework

Tabular methods

• Dynamic programming

• Monte Carlo methods

• Temporal-difference methods

• N-step bootstrapping

Functional Approximation

Deep Q networks

Policy gradient methods

• REINFORCE

• REINFORCE with baseline

• Actor-critic

• Trust Region Policy Optimization

• Proximal Policy Optimization

Continuous action domain

• Deep Deterministic policy gradient

• Twin Delayed Deep Deterministic policy gradient

Monte Carlo tree search

• AlphaZero architecture

Model-based algorithms

• MCTS with a learned model

Partially observable environments

Discrete variable optimization

Je vyžadována znalost jazyka Python a frameworku TensorFlow (nebo obdobného frameworku pro práci s hlubokými sítěmi), v rozsahu přednášky NPFL114. Předchozí znalosti zpětnovazebního učení nejsou nutné.

Python programming skills and Tensorflow skills (or any other deep learning framework) are required, to the extent of the NPFL114 course. No previous knowledge of reinforcement learning is necessary.