Multi-objective Neural Architecture Search

• Thesis title in Czech: Vícekriteriální hledání architektur neuronových sítí
• Thesis title in English: Multi-objective Neural Architecture Search
• Key words: hledání architektur neuronových sítí|vícekrtiteriální optimalizace|lamarckismus|evoluční algoritmy|CoDeepNEAT|neuronové sítě
• English key words: neural architecture search|multiobjective optimization|lamarckism|evolutionary algorithm|CoDeepNEAT|neural networks
• Academic year of topic announcement: 2020/2021
• Thesis type: diploma thesis
• Thesis language: angličtina
• Department: Department of Theoretical Computer Science and Mathematical Logic (32-KTIML)
• Supervisor: Mgr. Martin Pilát, Ph.D.
• Author: Mgr. Renáta Pivodová - assigned and confirmed by the Study Dept.
• Date of registration: 17.09.2021
• Date of assignment: 20.09.2021
• Confirmed by Study dept. on: 08.10.2021
• Date and time of defence: 12.06.2023 09:00
• Date of electronic submission: 02.05.2023
• Date of submission of printed version: 09.05.2023
• Date of proceeded defence: 12.06.2023
• Opponents: Mgr. Gabriela Kadlecová

Guidelines

Hluboké učení dosahuje v posledních letech významných úspěchů. Jedním z důležitých problémů v této oblasti je návrh architektur hlubokých sítí, které by byly schopné dobře řešit zadané problémy. Snaha tento problém řešit vedla ke vzniku oblasti nazývané Neural Architecture Search (NAS). Algoritmy z této oblasti umí hledat neuronové sítě řešící daný problém, většinou se ale soustředí pouze na optimalizaci jednoho zadaného kritéria. Cílem této práce je rozšířit existující algoritmy pro NAS nebo navrhnout algoritmy nové tak, aby byly schopné řešit hledání architektur neuronových sítí vícekriteriálně.

Studentka nastuduje existující algoritmy pro hledání architektur neuronových sítí a existující vícekriteriální optimalizační algoritmy. Na tomto základě potom navrhne nové vícekriteriální algoritmy pro NAS, které vyhodnotí a porovná s existujícími algoritmy pro NAS na základě kvality nalezených řešení a dalších kritérií (např. počet parametrů sítě nebo čas potřebný pro její trénování).

References

[1] Miikkulainen, Risto, Jason Liang, Elliot Meyerson, Aditya Rawal, Daniel Fink, Olivier Francon, Bala Raju et al. "Evolving deep neural networks." In Artificial intelligence in the age of neural networks and brain computing, pp. 293-312. Academic Press, 2019.
[2] Pham, Hieu, Melody Guan, Barret Zoph, Quoc Le, and Jeff Dean. "Efficient neural architecture search via parameters sharing." In International Conference on Machine Learning, pp. 4095-4104. PMLR, 2018.
[3] Zoph, Barret, and Quoc V. Le. "Neural architecture search with reinforcement learning." arXiv preprint arXiv:1611.01578 (2016).
[4] Jaafra, Yesmina, Jean Luc Laurent, Aline Deruyver, and Mohamed Saber Naceur. "Reinforcement learning for neural architecture search: A review." Image and Vision Computing, 89 (2019): 57-66.
[5] da Silveira Bohrer, Jonas, Bruno Iochins Grisci, and Marcio Dorn. "Neuroevolution of Neural Network Architectures Using CoDeepNEAT and Keras." arXiv preprint arXiv:2002.04634 (2020).