Aplikace teorie informace na studium učení hlubokých neuronových sítí
| Název práce v češtině: | Aplikace teorie informace na studium učení hlubokých neuronových sítí |
|---|---|
| Název v anglickém jazyce: | Aplications of information theory to the study of deep learning |
| Klíčová slova: | Hluboké Učení|Strojové Učení|Teorie Informačního Hrdla|Neuronové Sítě |
| Klíčová slova anglicky: | Deep Learning|information bottleneck theory|Machine Learning|Neural Networks |
| Akademický rok vypsání: | 2024/2025 |
| Typ práce: | bakalářská práce |
| Jazyk práce: | čeština |
| Ústav: | Katedra aplikované matematiky (32-KAM) |
| Vedoucí / školitel: | Mgr. David Sychrovský, Ph.D. |
| Řešitel: | Bc. Jakub Černý - zadáno a potvrzeno stud. odd. |
| Datum přihlášení: | 24.03.2025 |
| Datum zadání: | 24.03.2025 |
| Datum potvrzení stud. oddělením: | 25.03.2025 |
| Datum a čas obhajoby: | 05.09.2025 10:00 |
| Datum odevzdání elektronické podoby: | 16.07.2025 |
| Datum odevzdání tištěné podoby: | 16.07.2025 |
| Datum proběhlé obhajoby: | 05.09.2025 |
| Oponenti: | Mgr. Martin Schmid, Ph.D. |
| Zásady pro vypracování |
| Práce se bude zabývat teoretickou analýzou vzájemné informace mezi vrstvami neuronových sítí a její souvislostí s učením těchto modelů.
Hlavní náplní bude rigorózní formulace výpočtu vzájemné informace v prostoru pravděpodobnostních vektorů jednotlivých vrstev neuronové sítě. V práci bude studována výpočetní složitost jednotlivých algoritmů, jakožto jejich aproximační chyba. Dále bude zkoumána souvislost mezi vzájemnou informací a generalizační schopností neuronových sítí v kontextu Informational Bottleneck Theory [1]. Teoretické závěry budou podpořeny numerickými experimenty. |
| Seznam odborné literatury |
| [1] Ravid Shwartz-Ziv, Naftali Tishby, Opening the Black Box of Deep Neural Networks via Information, https://arxiv.org/abs/1703.00810, 2017
[2] Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, MIT Press, 2016 [3] David Applebaum, Probability and Information: An Integrated Approach, Cambridge University Press, 2008 [4] Rana Ali Amjad, Bernhard C. Geiger, Learning Representations for Neural Network-Based Classification Using the Information Bottleneck Principle, https://arxiv.org/abs/1802.09766, 2019 |