Modern evolutionary strategies for reinforcement learning problems
| Název práce v češtině: | Moderní evoluční strategie pro problémy zpětnovazebního učení |
|---|---|
| Název v anglickém jazyce: | Modern evolutionary strategies for reinforcement learning problems |
| Klíčová slova: | evoluční strategie|zpětnovazební učení|hledání novosti|neuroevolutce |
| Klíčová slova anglicky: | evolutionary strategies|reinforcement learning|novelty search|neuroevolution |
| Akademický rok vypsání: | 2020/2021 |
| Typ práce: | bakalářská práce |
| Jazyk práce: | angličtina |
| Ústav: | Katedra teoretické informatiky a matematické logiky (32-KTIML) |
| Vedoucí / školitel: | Mgr. Roman Neruda, CSc. |
| Řešitel: | skrytý - zadáno a potvrzeno stud. odd. |
| Datum přihlášení: | 12.07.2021 |
| Datum zadání: | 12.07.2021 |
| Datum potvrzení stud. oddělením: | 27.08.2021 |
| Datum a čas obhajoby: | 10.09.2021 09:00 |
| Datum odevzdání elektronické podoby: | 22.07.2021 |
| Datum odevzdání tištěné podoby: | 22.07.2021 |
| Datum proběhlé obhajoby: | 10.09.2021 |
| Oponenti: | Mgr. Klára Pešková, Ph.D. |
| Zásady pro vypracování |
| Evolutionary strategies (ES) represent traditional field of evolutionary computing targeted at continuous optimization problems. Recently, they have been used successfully in the context of neuroevolution applied to reinforcement learning. The goal of the thesis is to explore modern ES techniques for reinforcement learning problems. The student will explore and realize algorithms based on existing approach including novelty search, CMA-ES and natural evolution strategies. The design of the algorithms will be verified on set of practical experiments on benchmark reinforcement learning tasks. |
| Seznam odborné literatury |
| [1] Richard S. Sutton, Andrew G. Barto. Reinforcement Learning: An Introduction. (2nd ed). The MIT Press, 2018.
[2] Günter Rudolph. Evolutionary Strategies. In: Handbook of Natural Computing. (Grzegorz Rozenberg, Thomas Bäck, Joost N. Kok, eds), Springer, 673-698, 2012. [3] P. A. Vikhar. Evolutionary algorithms: A critical review and its future prospects. In: 2016 International Conference on Global Trends in Signal Processing, Information Computing and Communication (ICGTSPICC). 261-265. 2016. [4] Joel Lehman, Kenneth O. Stanley. Abandoning Objectives: Evolution Through the Search for Novelty Alone, Evolutionary computation, 19, 189-223, 2011. [5] Tim Salimans et al. Evolution Strategies as a Scalable Alternative to Reinforcement Learning. 2017. arXiv: 1703.03864 [stat.ML]. [6] Edoardo Conti et al. Improving Exploration in Evolution Strategies for Deep Reinforcement Learning via a Population of Novelty-Seeking Agents. 2018. arXiv: 1712.06560 [cs.AI]. |
| Předběžná náplň práce |
| Evoluční strategie reprezentují jeden z přístupů k řešení problémů zpětnovazebného učení. V této práci jsou zkoumány dvě moderní evoluční strategie, jmenovitě OpenAI-ES a NS-ES (a její rozšíření) využívající hledání novosti. Chování těchto algoritmů je zkoumáno na dvou benchmark prostředích pro zpětnovazebné učení, Cartpole-swingup a Slimevolley. V Cartpole-swingup je většina přístupů schopna úspěšně vyřešit problém, zatímco chování ve Slimevolley je volatilní a citlivé na úvodní seed v porovnání s tradičními metodami jako CMA-ES. |
| Předběžná náplň práce v anglickém jazyce |
| Evolutionary strategies represent one of approaches to solve reinforcement learning tasks. This thesis explores two modern evolutionary strategies, namely OpenAI-ES and NS-ES (and extensions) utilizing novelty search. The performance of these algorithms is studied in two benchmark reinforcement learning environments, Cartpole-swingup and Slimevolley. On Cartpole-swingup most approaches are able to solve the problem successfully, while the performance on the Slimevolley task is volatile and sensitive to initial seed, in comparison to more traditional approaches, such as CMA-ES. |