Inicializace v neuronových sítích
| Thesis title in Czech: | Inicializace v neuronových sítích |
|---|---|
| Thesis title in English: | Initialization in neural networks |
| Key words: | neuronové sítě|strojové učení|inicializace |
| English key words: | neural networks|machine learning|initialization |
| Academic year of topic announcement: | 2024/2025 |
| Thesis type: | diploma thesis |
| Thesis language: | |
| Department: | Department of Probability and Mathematical Statistics (32-KPMS) |
| Supervisor: | Mgr. Ondřej Týbl, Ph.D. |
| Author: | hidden - assigned and confirmed by the Study Dept. |
| Date of registration: | 01.11.2024 |
| Date of assignment: | 01.11.2024 |
| Confirmed by Study dept. on: | 01.11.2024 |
| Advisors: | prof. RNDr. Ivan Mizera, CSc. |
| Guidelines |
| Kritickým aspektem trénování neuronových sítí je inicializace vah, které mohou významně ovlivnit rychlost konvergence a výkon sítě. Nevhodná inicializace může vést k problémům, jako jsou mizející nebo explodující gradienty, které brání efektivnímu učení. Tato práce si klade za cíl systematicky prozkoumávat a zlepšovat techniky inicializace vah a poskytuje komplexní vyhodnocení jejich dopadu na různé typy neuronových sítí a úloh.
Konkrétně náš zájem spočívá v posouzení stability rychlosti konvergence sítě a výkonu z hlediska stability s ohledem na změnu - počáteční podmínky pseudo-náhodného generátoru pro inicializaci vah, - techniky inicializace, - distribuce vstupních dat. Toto hodnocení potenciálně povede k - identifikaci „zlaté počáteční podmínky“, tj. výběr inicializace, která vede k nejlepšímu výkonu, - zlepšení současných technik. Práce bude vypracována ve spolupráci s ing. Lukášem Neumannem, PhD. (FEL ČVUT). |
| References |
| [1] Glorot, Xavier, and Yoshua Bengio. "Understanding the difficulty of training deep feedforward neural networks." Proceedings of the thirteenth international conference on artificial intelligence and statistics. JMLR Workshop and Conference Proceedings, 2010.
[2] He, Kaiming, et al. "Delving deep into rectifiers: Surpassing human-level performance on imagenet classification." Proceedings of the IEEE international conference on computer vision. 2015. [3] Ribeiro, Antônio H., et al. "Beyond exploding and vanishing gradients: analysing RNN training using attractors and smoothness." International conference on artificial intelligence and statistics. PMLR, 2020. |