Efektivní ladění hyper-parametrů

• Thesis title in Czech: Efektivní ladění hyper-parametrů
• Thesis title in English: Efficient Hyper-Parameter Tuning
• Academic year of topic announcement: 2023/2024
• Thesis type: diploma thesis
• Thesis language: čeština
• Department: Department of Theoretical Computer Science and Mathematical Logic (32-KTIML)
• Supervisor: Mgr. Martin Pilát, Ph.D.
• Author: hidden - assigned and confirmed by the Study Dept.
• Date of registration: 13.03.2024
• Date of assignment: 15.03.2024
• Confirmed by Study dept. on: 15.03.2024
• Opponents: Mgr. Roman Neruda, CSc.
• Advisors: Tomáš Přinda

Guidelines

Mnoho metod strojového učení je citlivých na nastavení hyper-parametrů. V posledních letech se rychle rozvíjí metody pro ladění tohoto nastavení. Většina existujících metod je ale velmi výpočetně náročná, což komplikuje jejich reálné nasazení. Zároveň chybí podrobnější porovnání výkonnosti jednotlivých metod. Cílem práce je porovnat existující metody pro ladění hyper-parametrů a navrhnout nové metody s ohledem nejen na kvalitu nalezených nastavení, ale také na dobu běhu.

Student nastuduje dostupné metody a knihovny pro ladění hyper-parametrů metod strojového učení. Vybrané metody mezi sebou porovná a na základě získaných informací implementuje metody nové, které budou uvažovat jak rychlost ladění tak kvalitu nalezených řešení.

References

[1] Akiba, Takuya, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. "Optuna: A next-generation hyperparameter optimization framework." In Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery & data mining, pp. 2623-2631. 2019.
[2] Wistuba, Martin, Arlind Kadra, and Josif Grabocka. "Supervising the multi-fidelity race of hyperparameter configurations." Advances in Neural Information Processing Systems 35 (2022): 13470-13484.
[3] Feurer, Matthias, and Frank Hutter. "Hyperparameter optimization." Automated machine learning: Methods, systems, challenges, pages 3-33. Springer. 2019.