Leveraging lower fidelity proxies for neural network based NAS predictors
| Název práce v češtině: | Využití výpočetně nenáročných proxy pro NAS prediktory založené na neuronových sítích |
|---|---|
| Název v anglickém jazyce: | Leveraging lower fidelity proxies for neural network based NAS predictors |
| Klíčová slova: | prohledávání architektur neuronových sítí|prediktory výkonnosti|proxy|automatické strojové učení|neuronové sítě |
| Klíčová slova anglicky: | neural architecture search|performance predictors|proxy|AutoML|neural networks |
| Akademický rok vypsání: | 2023/2024 |
| Typ práce: | diplomová práce |
| Jazyk práce: | angličtina |
| Ústav: | Katedra teoretické informatiky a matematické logiky (32-KTIML) |
| Vedoucí / školitel: | Mgr. Roman Neruda, CSc. |
| Řešitel: | skrytý - zadáno a potvrzeno stud. odd. |
| Datum přihlášení: | 07.12.2023 |
| Datum zadání: | 07.12.2023 |
| Datum potvrzení stud. oddělením: | 07.12.2023 |
| Zásady pro vypracování |
| Neural architecture search (NAS) represents an important research area of automated machine learning applied to design an optimal data dependent neural model. The main drawback of NAS is the high time and computational demand of the search procedure. Performance predictors and proxies are utilized to speed up the critical phase of model evaluation.
The goal of the work is to propose a new efficient prediction procedure for neural architecture search. The student will explore combinations of learning curve extrapolation predictors and zero cost proxies and their application strategies during the architecture search. The efficiency of the algorithms will be evaluated on the standard NAS-Bench-201 benchmark. |
| Seznam odborné literatury |
| [1] Frank Hutter and Lars Kotthoff and Joaquin Vanschoren, Automated Machine Learning - Methods, Systems, Challenges, 2019, Springer
[2] Xuanyi Dong et al, NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search, International Conference on Learning Representations (ICLR), 2020, https://arxiv.org/abs/2001.00326 [3] Esteban Real et al, Regularized Evolution for Image Classifier Architecture Search, AAAI, 2019, https://ojs.aaai.org/index.php/AAAI/article/view/4405 [4] Colin White et al, How Powerful are Performance Predictors in Neural Architecture Search?, NeurIPS, 2021, https://papers.nips.cc/paper_files/paper/2021/hash/ef575e8837d065a1683c022d2077d342-Abstract.html [5] Mohamed S. Abdelfattah et al, Zero-Cost Proxies for Lightweight NAS, International Conference on Learning Representations (ICLR), 2021, https://arxiv.org/abs/2101.08134 |