Multi-agent trading environment for training robust reinforcement learning agents
| Název práce v češtině: | Multi-agentní burzovní prostředí pro hledání robustních strategií pomocí zpětnovazebního učení |
|---|---|
| Název v anglickém jazyce: | Multi-agent trading environment for training robust reinforcement learning agents |
| Klíčová slova: | zpětnovazební učení|algoritmické obchodování|generalizace|R2D2|hluboké učení |
| Klíčová slova anglicky: | reinforcement learning|algorithmic trading|generalization|R2D2|deep learning |
| Akademický rok vypsání: | 2022/2023 |
| Typ práce: | diplomová práce |
| Jazyk práce: | angličtina |
| Ústav: | Katedra teoretické informatiky a matematické logiky (32-KTIML) |
| Vedoucí / školitel: | Mgr. Martin Pilát, Ph.D. |
| Řešitel: | Mgr. Pavel Mikuláš - zadáno a potvrzeno stud. odd. |
| Datum přihlášení: | 15.03.2023 |
| Datum zadání: | 21.03.2023 |
| Datum potvrzení stud. oddělením: | 30.03.2023 |
| Datum a čas obhajoby: | 13.02.2024 09:00 |
| Datum odevzdání elektronické podoby: | 11.01.2024 |
| Datum odevzdání tištěné podoby: | 11.01.2024 |
| Datum proběhlé obhajoby: | 13.02.2024 |
| Oponenti: | Mgr. Roman Neruda, CSc. |
| Konzultanti: | Mgr. Martin Schmid, Ph.D. |
| Zásady pro vypracování |
| Algoritmické obchodování a fintech je dnes velice aktuálním a studovaným odvětvím strojového učení. Většina funkčních řešení však využívá hlubokého učení k predikci vývoje ceny v kombinaci s ručně vytvořenými strategiemi obchodování. Teoretické výsledky aplikace zpětnovazebního učení pro vytváření ucelených strategií dosahují v poslední době skvělých výsledků. Simulační prostředí se ale často výrazně liší od skutečného trhu - například se pracuje s historickým vývojem ceny aktiv a neberou se v úvahu faktory jako transakční náklady, vliv agenta na trh a slippage (rozdíl mezi cenou, při které byla objednávka položena a cenou, za kterou byl obchod realizován). Tyto rozdíly jsou příčinou toho, že se takto vytvořené strategie v praxi často nakonec nepoužívají. Cílem práce je vytvořit simulační prostředí, které by uvažovalo i tyto jevy.
Student nastuduje dostupnou literaturu o použití zpětnovazebního učení pro vytváření obchodních strategií a především o prostředích, ve kterých se tyto strategie trénují. Na základě získaných znalostí se student pokusí vytvořit simulační prostředí s podporou více agentů reflektující výše popsané faktory. Toto prostředí poté využije k vytvoření ucelené strategie, kterou porovná proti běžně dostupným technikám. |
| Seznam odborné literatury |
| [1] Sutton, Richard S., and Andrew G. Barto. "Reinforcement learning: An introduction." MIT press, 2018. ISBN: 978-0-26-203924-6
[2] Ian Goodfellow and Yoshua Bengio and Aaron Courville. "Deep Learning." MIT Press, 2016. ISBN: 978-0-26-203561-3 [3] Xing Wu, Haolei Chen, Jianjia Wang, Luigi Troiano, Vincenzo Loia, Hamido Fujita, Adaptive stock trading strategies with deep reinforcement learning methods, Information Sciences, Volume 538, 2020, Pages 142-158, ISSN 0020-0255 [4] Y. Deng, F. Bao, Y. Kong, Z. Ren and Q. Dai, "Deep Direct Reinforcement Learning for Financial Signal Representation and Trading," in IEEE Transactions on Neural Networks and Learning Systems, vol. 28, no. 3, pp. 653-664, March 2017 [5] Y. Li, W. Zheng and Z. Zheng, "Deep Robust Reinforcement Learning for Practical Algorithmic Trading," in IEEE Access, vol. 7, pp. 108014-108022, 2019 [6] Michaël Karpe, , Jin Fang, Zhongyao Ma, and Chen Wang. "Multi-agent reinforcement learning in a realistic limit order book market simulation." . In Proceedings of the First ACM International Conference on AI in Finance. ACM, 2020. [7] Bao, Wenhang, and Xiao-yang Liu. "Multi-agent deep reinforcement learning for liquidation strategy analysis." arXiv preprint arXiv:1906.11046 (2019). |