Optimalizace architektur neuronových sítí pomocí evolučních algoritmů

• Název práce v češtině: Optimalizace architektur neuronových sítí pomocí evolučních algoritmů
• Název v anglickém jazyce: Neural architecture search by means of evolutionary computing
• Klíčová slova: Hluboké učení, hledání neuronových architektur, automatické strojové učení, evoluční algoritmy.
• Klíčová slova anglicky: Deep learning, neural architecture search, auto-ML, evolutionary computing.
• Akademický rok vypsání: 2020/2021
• Typ práce: disertační práce
• Jazyk práce: čeština
• Ústav: Ústav informatiky AV ČR, v.v.i. (32-UIAV)
• Vedoucí / školitel: Mgr. Roman Neruda, CSc.
• Řešitel: skrytý - zadáno a potvrzeno stud. odd.
• Datum přihlášení: 08.09.2020
• Datum zadání: 08.09.2020
• Datum potvrzení stud. oddělením: 06.10.2020

Zásady pro vypracování

Complex and specialized architectures of deep neural networks that have been successful in solving practical tasks motivated a recent research in a subfield of automated machine learning called neural architecture search (NAS). State of the art approaches to this problem include reinforcement learning, Bayesian optimization, and evolutionary computing. The goal of this work is to study efficient block representations of current deep neural networks, and to develop an efficient search procedure based on evolutionary computing. The student should explore direct acyclic graph structure of modules in deep networks suitable for optimization approaches such as tree-based or cartesian genetic programming. Recent approaches to deep architectures encoding, such as hierarchical representations, parameter sharing, or differentiable search should be taken into account.

Seznam odborné literatury

Hutter, Frank and Kotthoff, Lars and Vanschoren, Joaquin (Eds): Automated Machine Learning: Methods, Systems, Challenges, Springer, 2019.

Thomas Elsken and Jan Hendrik Metzen and Frank Hutter: Neural Architecture Search: A Survey. Journal of Machine Learning Research, 20 (55), 1-21, 2019.

Xin He and Kaiyong Zhao and Xiaowen Chu : AutoML: A Survey of the State-of-the-Art. arXiv:1908.00709 [cs.LG], 2019.

E. Real, S. Moore, A. Selle, S. Saxena, Y. L. Suematsu,J. Tan, Q. V. Le, and A. Kurakin. Large-scale evolution of image classifiers. In ICML, 2902–2911, 2017.

Risto Miikkulainen, Jason Liang, Elliot Meyerson, Aditya Rawal, Dan Fink, Olivier Francon, Bala Raju, Hormoz Shahrzad, Arshak Navruzyan, Nigel Duffy, Babak Hodjat: Evolving Deep Neural Networks. arXiv:1703.00548 [cs.NE], 2019.