Multi-agent trading environment for training robust reinforcement learning agents
| Thesis title in Czech: | Multi-agentní burzovní prostředí pro hledání robustních strategií pomocí zpětnovazebního učení |
|---|---|
| Thesis title in English: | Multi-agent trading environment for training robust reinforcement learning agents |
| Key words: | zpětnovazební učení|algoritmické obchodování|generalizace|R2D2|hluboké učení |
| English key words: | reinforcement learning|algorithmic trading|generalization|R2D2|deep learning |
| Academic year of topic announcement: | 2022/2023 |
| Thesis type: | diploma thesis |
| Thesis language: | angličtina |
| Department: | Department of Theoretical Computer Science and Mathematical Logic (32-KTIML) |
| Supervisor: | Mgr. Martin Pilát, Ph.D. |
| Author: | Mgr. Pavel Mikuláš - assigned and confirmed by the Study Dept. |
| Date of registration: | 15.03.2023 |
| Date of assignment: | 21.03.2023 |
| Confirmed by Study dept. on: | 30.03.2023 |
| Date and time of defence: | 13.02.2024 09:00 |
| Date of electronic submission: | 11.01.2024 |
| Date of submission of printed version: | 11.01.2024 |
| Date of proceeded defence: | 13.02.2024 |
| Opponents: | Mgr. Roman Neruda, CSc. |
| Advisors: | Mgr. Martin Schmid, Ph.D. |
| Guidelines |
| Algoritmické obchodování a fintech je dnes velice aktuálním a studovaným odvětvím strojového učení. Většina funkčních řešení však využívá hlubokého učení k predikci vývoje ceny v kombinaci s ručně vytvořenými strategiemi obchodování. Teoretické výsledky aplikace zpětnovazebního učení pro vytváření ucelených strategií dosahují v poslední době skvělých výsledků. Simulační prostředí se ale často výrazně liší od skutečného trhu - například se pracuje s historickým vývojem ceny aktiv a neberou se v úvahu faktory jako transakční náklady, vliv agenta na trh a slippage (rozdíl mezi cenou, při které byla objednávka položena a cenou, za kterou byl obchod realizován). Tyto rozdíly jsou příčinou toho, že se takto vytvořené strategie v praxi často nakonec nepoužívají. Cílem práce je vytvořit simulační prostředí, které by uvažovalo i tyto jevy.
Student nastuduje dostupnou literaturu o použití zpětnovazebního učení pro vytváření obchodních strategií a především o prostředích, ve kterých se tyto strategie trénují. Na základě získaných znalostí se student pokusí vytvořit simulační prostředí s podporou více agentů reflektující výše popsané faktory. Toto prostředí poté využije k vytvoření ucelené strategie, kterou porovná proti běžně dostupným technikám. |
| References |
| [1] Sutton, Richard S., and Andrew G. Barto. "Reinforcement learning: An introduction." MIT press, 2018. ISBN: 978-0-26-203924-6
[2] Ian Goodfellow and Yoshua Bengio and Aaron Courville. "Deep Learning." MIT Press, 2016. ISBN: 978-0-26-203561-3 [3] Xing Wu, Haolei Chen, Jianjia Wang, Luigi Troiano, Vincenzo Loia, Hamido Fujita, Adaptive stock trading strategies with deep reinforcement learning methods, Information Sciences, Volume 538, 2020, Pages 142-158, ISSN 0020-0255 [4] Y. Deng, F. Bao, Y. Kong, Z. Ren and Q. Dai, "Deep Direct Reinforcement Learning for Financial Signal Representation and Trading," in IEEE Transactions on Neural Networks and Learning Systems, vol. 28, no. 3, pp. 653-664, March 2017 [5] Y. Li, W. Zheng and Z. Zheng, "Deep Robust Reinforcement Learning for Practical Algorithmic Trading," in IEEE Access, vol. 7, pp. 108014-108022, 2019 [6] Michaël Karpe, , Jin Fang, Zhongyao Ma, and Chen Wang. "Multi-agent reinforcement learning in a realistic limit order book market simulation." . In Proceedings of the First ACM International Conference on AI in Finance. ACM, 2020. [7] Bao, Wenhang, and Xiao-yang Liu. "Multi-agent deep reinforcement learning for liquidation strategy analysis." arXiv preprint arXiv:1906.11046 (2019). |