Efficient hyperparameter optimization

• Thesis title in Czech: Efektivní ladění hyperparametrů
• Thesis title in English: Efficient hyperparameter optimization
• Key words: hluboké učení|optimalizace hyperparametrů|Bayesovská optimalizace
• English key words: deep learning|hyperparameter optimization|Bayesian optimization|multi-fidelity
• Academic year of topic announcement: 2023/2024
• Thesis type: diploma thesis
• Thesis language: angličtina
• Department: Department of Theoretical Computer Science and Mathematical Logic (32-KTIML)
• Supervisor: doc. Mgr. Martin Pilát, Ph.D.
• Author: hidden - assigned and confirmed by the Study Dept.
• Date of registration: 13.03.2024
• Date of assignment: 15.03.2024
• Confirmed by Study dept. on: 15.03.2024
• Date and time of defence: 10.09.2024 09:00
• Date of electronic submission: 18.07.2024
• Date of submission of printed version: 18.07.2024
• Date of proceeded defence: 10.09.2024
• Opponents: Mgr. Roman Neruda, CSc.
• Advisors: Tomáš Přinda

Guidelines

Mnoho metod strojového učení je citlivých na nastavení hyper-parametrů. V posledních letech se rychle rozvíjí metody pro ladění tohoto nastavení. Většina existujících metod je ale velmi výpočetně náročná, což komplikuje jejich reálné nasazení. Zároveň chybí podrobnější porovnání výkonnosti jednotlivých metod. Cílem práce je porovnat existující metody pro ladění hyper-parametrů a navrhnout nové metody s ohledem nejen na kvalitu nalezených nastavení, ale také na dobu běhu.

Student nastuduje dostupné metody a knihovny pro ladění hyper-parametrů metod strojového učení. Vybrané metody mezi sebou porovná a na základě získaných informací implementuje metody nové, které budou uvažovat jak rychlost ladění tak kvalitu nalezených řešení.

References

[1] Akiba, Takuya, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. "Optuna: A next-generation hyperparameter optimization framework." In Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery & data mining, pp. 2623-2631. 2019.
[2] Wistuba, Martin, Arlind Kadra, and Josif Grabocka. "Supervising the multi-fidelity race of hyperparameter configurations." Advances in Neural Information Processing Systems 35 (2022): 13470-13484.
[3] Feurer, Matthias, and Frank Hutter. "Hyperparameter optimization." Automated machine learning: Methods, systems, challenges, pages 3-33. Springer. 2019.