Multi-objective Neural Architecture Search

• Název práce v češtině: Vícekriteriální hledání architektur neuronových sítí
• Název v anglickém jazyce: Multi-objective Neural Architecture Search
• Klíčová slova: hledání architektur neuronových sítí|vícekrtiteriální optimalizace|lamarckismus|evoluční algoritmy|CoDeepNEAT|neuronové sítě
• Klíčová slova anglicky: neural architecture search|multiobjective optimization|lamarckism|evolutionary algorithm|CoDeepNEAT|neural networks
• Akademický rok vypsání: 2020/2021
• Typ práce: diplomová práce
• Jazyk práce: angličtina
• Ústav: Katedra teoretické informatiky a matematické logiky (32-KTIML)
• Vedoucí / školitel: Mgr. Martin Pilát, Ph.D.
• Řešitel: Mgr. Renáta Pivodová - zadáno a potvrzeno stud. odd.
• Datum přihlášení: 17.09.2021
• Datum zadání: 20.09.2021
• Datum potvrzení stud. oddělením: 08.10.2021
• Datum a čas obhajoby: 12.06.2023 09:00
• Datum odevzdání elektronické podoby: 02.05.2023
• Datum odevzdání tištěné podoby: 09.05.2023
• Datum proběhlé obhajoby: 12.06.2023
• Oponenti: Mgr. Gabriela Kadlecová

Zásady pro vypracování

Hluboké učení dosahuje v posledních letech významných úspěchů. Jedním z důležitých problémů v této oblasti je návrh architektur hlubokých sítí, které by byly schopné dobře řešit zadané problémy. Snaha tento problém řešit vedla ke vzniku oblasti nazývané Neural Architecture Search (NAS). Algoritmy z této oblasti umí hledat neuronové sítě řešící daný problém, většinou se ale soustředí pouze na optimalizaci jednoho zadaného kritéria. Cílem této práce je rozšířit existující algoritmy pro NAS nebo navrhnout algoritmy nové tak, aby byly schopné řešit hledání architektur neuronových sítí vícekriteriálně.

Studentka nastuduje existující algoritmy pro hledání architektur neuronových sítí a existující vícekriteriální optimalizační algoritmy. Na tomto základě potom navrhne nové vícekriteriální algoritmy pro NAS, které vyhodnotí a porovná s existujícími algoritmy pro NAS na základě kvality nalezených řešení a dalších kritérií (např. počet parametrů sítě nebo čas potřebný pro její trénování).

Seznam odborné literatury

[1] Miikkulainen, Risto, Jason Liang, Elliot Meyerson, Aditya Rawal, Daniel Fink, Olivier Francon, Bala Raju et al. "Evolving deep neural networks." In Artificial intelligence in the age of neural networks and brain computing, pp. 293-312. Academic Press, 2019.
[2] Pham, Hieu, Melody Guan, Barret Zoph, Quoc Le, and Jeff Dean. "Efficient neural architecture search via parameters sharing." In International Conference on Machine Learning, pp. 4095-4104. PMLR, 2018.
[3] Zoph, Barret, and Quoc V. Le. "Neural architecture search with reinforcement learning." arXiv preprint arXiv:1611.01578 (2016).
[4] Jaafra, Yesmina, Jean Luc Laurent, Aline Deruyver, and Mohamed Saber Naceur. "Reinforcement learning for neural architecture search: A review." Image and Vision Computing, 89 (2019): 57-66.
[5] da Silveira Bohrer, Jonas, Bruno Iochins Grisci, and Marcio Dorn. "Neuroevolution of Neural Network Architectures Using CoDeepNEAT and Keras." arXiv preprint arXiv:2002.04634 (2020).