Efektivní ladění hyper-parametrů

• Název práce v češtině: Efektivní ladění hyper-parametrů
• Název v anglickém jazyce: Efficient Hyper-Parameter Tuning
• Akademický rok vypsání: 2023/2024
• Typ práce: diplomová práce
• Jazyk práce: čeština
• Ústav: Katedra teoretické informatiky a matematické logiky (32-KTIML)
• Vedoucí / školitel: Mgr. Martin Pilát, Ph.D.
• Řešitel: skrytý - zadáno a potvrzeno stud. odd.
• Datum přihlášení: 13.03.2024
• Datum zadání: 15.03.2024
• Datum potvrzení stud. oddělením: 15.03.2024
• Oponenti: Mgr. Roman Neruda, CSc.
• Konzultanti: Tomáš Přinda

Zásady pro vypracování

Mnoho metod strojového učení je citlivých na nastavení hyper-parametrů. V posledních letech se rychle rozvíjí metody pro ladění tohoto nastavení. Většina existujících metod je ale velmi výpočetně náročná, což komplikuje jejich reálné nasazení. Zároveň chybí podrobnější porovnání výkonnosti jednotlivých metod. Cílem práce je porovnat existující metody pro ladění hyper-parametrů a navrhnout nové metody s ohledem nejen na kvalitu nalezených nastavení, ale také na dobu běhu.

Student nastuduje dostupné metody a knihovny pro ladění hyper-parametrů metod strojového učení. Vybrané metody mezi sebou porovná a na základě získaných informací implementuje metody nové, které budou uvažovat jak rychlost ladění tak kvalitu nalezených řešení.

Seznam odborné literatury

[1] Akiba, Takuya, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. "Optuna: A next-generation hyperparameter optimization framework." In Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery & data mining, pp. 2623-2631. 2019.
[2] Wistuba, Martin, Arlind Kadra, and Josif Grabocka. "Supervising the multi-fidelity race of hyperparameter configurations." Advances in Neural Information Processing Systems 35 (2022): 13470-13484.
[3] Feurer, Matthias, and Frank Hutter. "Hyperparameter optimization." Automated machine learning: Methods, systems, challenges, pages 3-33. Springer. 2019.