Témata prací (Výběr práce)Témata prací (Výběr práce)(verze: 336)
Detail práce
   Přihlásit přes CAS
Modern evolutionary strategies for reinforcement learning problems
Název práce v češtině: Moderní evoluční strategie pro problémy zpětnovazebního učení
Název v anglickém jazyce: Modern evolutionary strategies for reinforcement learning problems
Klíčová slova: evoluční strategie|zpětnovazební učení|hledání novosti|neuroevolutce
Klíčová slova anglicky: evolutionary strategies|reinforcement learning|novelty search|neuroevolution
Akademický rok vypsání: 2020/2021
Typ práce: bakalářská práce
Jazyk práce: angličtina
Ústav: Katedra teoretické informatiky a matematické logiky (32-KTIML)
Vedoucí / školitel: Mgr. Roman Neruda, CSc.
Řešitel: skrytý - zadáno a potvrzeno stud. odd.
Datum přihlášení: 12.07.2021
Datum zadání: 12.07.2021
Datum potvrzení stud. oddělením: 27.08.2021
Datum a čas obhajoby: 10.09.2021 09:00
Datum odevzdání elektronické podoby:22.07.2021
Datum odevzdání tištěné podoby:22.07.2021
Datum proběhlé obhajoby: 10.09.2021
Oponenti: Mgr. Klára Pešková, Ph.D.
 
 
 
Zásady pro vypracování
Evolutionary strategies (ES) represent traditional field of evolutionary computing targeted at continuous optimization problems. Recently, they have been used successfully in the context of neuroevolution applied to reinforcement learning. The goal of the thesis is to explore modern ES techniques for reinforcement learning problems. The student will explore and realize algorithms based on existing approach including novelty search, CMA-ES and natural evolution strategies. The design of the algorithms will be verified on set of practical experiments on benchmark reinforcement learning tasks.
Seznam odborné literatury
[1] Richard S. Sutton, Andrew G. Barto. Reinforcement Learning: An Introduction. (2nd ed). The MIT Press, 2018.

[2] Günter Rudolph. Evolutionary Strategies. In: Handbook of Natural Computing. (Grzegorz Rozenberg, Thomas Bäck, Joost N. Kok, eds), Springer, 673-698, 2012.

[3] P. A. Vikhar. Evolutionary algorithms: A critical review and its future prospects. In: 2016 International Conference on Global Trends in Signal Processing, Information Computing and Communication (ICGTSPICC). 261-265. 2016.

[4] Joel Lehman, Kenneth O. Stanley. Abandoning Objectives: Evolution Through the Search for Novelty Alone, Evolutionary computation, 19, 189-223, 2011.

[5] Tim Salimans et al. Evolution Strategies as a Scalable Alternative to Reinforcement Learning. 2017. arXiv: 1703.03864 [stat.ML].

[6] Edoardo Conti et al. Improving Exploration in Evolution Strategies for Deep Reinforcement Learning via a Population of Novelty-Seeking Agents. 2018. arXiv: 1712.06560 [cs.AI].
Předběžná náplň práce
Evoluční strategie reprezentují jeden z přístupů k řešení problémů zpětnovazebného učení. V této práci jsou zkoumány dvě moderní evoluční strategie, jmenovitě OpenAI-ES a NS-ES (a její rozšíření) využívající hledání novosti. Chování těchto algoritmů je zkoumáno na dvou benchmark prostředích pro zpětnovazebné učení, Cartpole-swingup a Slimevolley. V Cartpole-swingup je většina přístupů schopna úspěšně vyřešit problém, zatímco chování ve Slimevolley je volatilní a citlivé na úvodní seed v porovnání s tradičními metodami jako CMA-ES.
Předběžná náplň práce v anglickém jazyce
Evolutionary strategies represent one of approaches to solve reinforcement learning tasks. This thesis explores two modern evolutionary strategies, namely OpenAI-ES and NS-ES (and extensions) utilizing novelty search. The performance of these algorithms is studied in two benchmark reinforcement learning environments, Cartpole-swingup and Slimevolley. On Cartpole-swingup most approaches are able to solve the problem successfully, while the performance on the Slimevolley task is volatile and sensitive to initial seed, in comparison to more traditional approaches, such as CMA-ES.
 
Univerzita Karlova | Informační systém UK