Efficient implementation of deep neural networks
| Název práce v češtině: | Efektivní implementace hlubokých neuronových sítí |
|---|---|
| Název v anglickém jazyce: | Efficient implementation of deep neural networks |
| Klíčová slova: | hluboké neuronové sítě, konvoluční neuronové sítě, optimalizace architektury, zpracování obrazu |
| Klíčová slova anglicky: | deep neural networks, convolutional neural networks, architecture optimization, image processing |
| Akademický rok vypsání: | 2019/2020 |
| Typ práce: | diplomová práce |
| Jazyk práce: | angličtina |
| Ústav: | Katedra teoretické informatiky a matematické logiky (32-KTIML) |
| Vedoucí / školitel: | doc. RNDr. Iveta Mrázová, CSc. |
| Řešitel: | skrytý - zadáno a potvrzeno stud. odd. |
| Datum přihlášení: | 15.11.2019 |
| Datum zadání: | 18.11.2019 |
| Datum potvrzení stud. oddělením: | 06.12.2019 |
| Datum a čas obhajoby: | 08.07.2020 09:00 |
| Datum odevzdání elektronické podoby: | 27.05.2020 |
| Datum odevzdání tištěné podoby: | 28.05.2020 |
| Datum proběhlé obhajoby: | 08.07.2020 |
| Oponenti: | Mgr. Jakub Střelský |
| Zásady pro vypracování |
| The student shall review the following topics in his diploma thesis:
- overview and comparison of neural network models relevant to image processing (multi-layered neural networks of the back-propagation type, convolutional neural networks and their variants like Faster RNN, ResNet or MobileNet among others, architecture optimization, and pruning) - recapitulation and mutual comparison of known approaches to a fast implementation of deep neural networks (Edge TPU, Raspberry Pi, GPU, etc.) - propose, discuss and test various aspects of the design and implementation of the investigated neural network models applicable to efficient object detection The student will focus on some of these topics in more detail and will implement the chosen models. The evaluation of the obtained results and gained experience shall form an important part of the thesis. |
| Seznam odborné literatury |
| Seznam doporučené literatury:
1. Některé z dostupných základních učebnic, monografií či přehledových článků vhodných pro zvolené téma, např.: - N. Buduma: Fundamentals of Deep Learning: Designing Next-Generation Machine Intelligence Algorithms, O´Reilly, (2017). - I. Goodfellow, Y. Bengio, and A. Courville: Deep Learning, The MIT Press, (2016). - S. Haykin: Neural Networks and Learning Machines, 3rd edition, Pearson, 2009 2. Články: - D. E. Rumelhart, G. E. Hinton, R. J. Williams: Learning representations by back-propagating errors, in: Nature, vol. 323, (1986) pp. 533-536. - Y. LeCun, J. S. Denker, S. A. Solla: Optimal brain damage, in: Proc. of NIPS 1989, Morgan Kaufmann, (1989), pp. 598-605. - Y. LeCun, L. Bottou, Y. Bengio, P. Haffner: Gradient-Based Learning Applied to Document Recognition, in: Proc. of the IEEE, vol. 86, no. 11 (Nov. 1998), pp. 2278-2324. - K.-S. Oh, , K. Jung: GPU implementation of neural networks, in: Pattern Recognition, vol. 37, no. 6, (June 2004), pp. 1311–1314. - D. Ciresan, U. Meier, J. Masci, J. Schmidhuber: A Committee of Neural Networks for Traffic Sign Competition, in: Proc. of IJCNN 2011, IEEE, (2011), pp. 1918-1921. - S. Ren, K. He, R. Girshick, and J. Sun: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, in: Advances in Neural Information Processing Systems 28, (2015), pp. 91-99. - M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, L.-C. Chen: MobileNetV2: Inverted Residuals and Linear Bottlenecks, in: Proc. of CVPR 2018, IEEE, (2018), pp. 4510-4520. 3. Aktuální články z profilujících světových časopisů, např.: Neurocomputing, Neural Networks, IEEE Transactions on Neural Networks and Learning Systems ap. |