Reducing Number of Parameters in Convolutional Neural Networks
| Thesis title in Czech: | Redukce počtu parametrů v konvolučních neuronových sítích |
|---|---|
| Thesis title in English: | Reducing Number of Parameters in Convolutional Neural Networks |
| Key words: | redukce parametrů|konvoluční neuronové sítě|zpětnovazební učení|hledání architektury sítě|prořezávání |
| English key words: | parameter reduction|convolutional neural networks|reinforcement learning|neural architecture search|pruning |
| Academic year of topic announcement: | 2019/2020 |
| Type of assignment: | diploma thesis |
| Thesis language: | angličtina |
| Department: | Department of Theoretical Computer Science and Mathematical Logic (32-KTIML) |
| Supervisor: | Mgr. Martin Pilát, Ph.D. |
| Author: | hidden - assigned and confirmed by the Study Dept. |
| Date of registration: | 04.09.2020 |
| Date of assignment: | 09.09.2020 |
| Confirmed by Study dept. on: | 23.09.2020 |
| Date and time of defence: | 22.06.2021 09:00 |
| Date of electronic submission: | 21.05.2021 |
| Date of submission of printed version: | 21.05.2021 |
| Date of proceeded defence: | 22.06.2021 |
| Reviewers: | Mgr. Roman Neruda, CSc. |
| Guidelines |
| V posledních letech dosáhly konvoluční neuronové sítě velmi dobrých výsledků v úloze klasifikace obrázků. Většina takových sítí je ale relativně velkých a mají mnoho parametrů, což vede k tomu, že jejich trénování i vyhodnocení trvá dlouhou dobu. Cílem práce je na základě existujících architektur nalézt menší, které by byly schopny dosáhnout podobných výsledků.
Student nastuduje dostupnou literaturu týkající se (hlubokého) strojového učení a typů konvolučních sítí, které se používají při klasifikaci obrázků. Na základě zjištěných informací navrhne nové metody, jak existující sítě zmenšit, ale zachovat podobné výsledky. Navržené sítě a algoritmy budou porovnány s existujícími přístupy z literatury. |
| References |
| [1] Han, Song, Jeff Pool, John Tran, and William Dally. "Learning both weights and connections for efficient neural network." In Advances in Neural Information Processing Systems (NIPS 2-15), pp. 1135-1143. 2015.
[2] Li, Hao, Asim Kadav, Igor Durdanovic, Hanan Samet, and Hans Peter Graf. "Pruning filters for efficient convnets." arXiv preprint arXiv:1608.08710 (2016). [3] Frankle, Jonathan, and Michael Carbin. "The lottery ticket hypothesis: Finding sparse, trainable neural networks." arXiv preprint arXiv:1803.03635 (2018). [4] Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep learning. MIT press, 2016. ISBN: 978-0262035613 |