velikost textu

Smoothness of Functions Learned by Neural Networks

Upozornění: Informace získané z popisných dat či souborů uložených v Repozitáři závěrečných prací nemohou být použity k výdělečným účelům nebo vydávány za studijní, vědeckou nebo jinou tvůrčí činnost jiné osoby než autora.
Název:
Smoothness of Functions Learned by Neural Networks
Název v češtině:
Hladkost funkcí naučených neuronovými sítěmi
Typ:
Bakalářská práce
Autor:
Bc. Václav Volhejn
Vedoucí:
Mgr. Tomáš Musil
Oponent:
RNDr. Milan Straka, Ph.D.
Id práce:
224645
Fakulta:
Matematicko-fyzikální fakulta (MFF)
Pracoviště:
Ústav formální a aplikované lingvistiky (32-UFAL)
Program studia:
Informatika (B1801)
Obor studia:
Obecná informatika (IOI)
Přidělovaný titul:
Bc.
Datum obhajoby:
7. 7. 2020
Výsledek obhajoby:
Výborně
Jazyk práce:
Angličtina
Klíčová slova:
strojové učení, neuronové sítě, hladkost, zobecňování
Klíčová slova v angličtině:
machine learning, neural networks, smoothness, generalization
Abstract v angličtině:
Modern neural networks can easily fit their training set perfectly. Surprisingly, they generalize well despite being “overfit” in this way, defying the bias–variance trade-off. A prevalent explanation is that stochastic gradient descent has an implicit bias which leads it to learn functions that are simple, and these simple functions generalize well. However, the specifics of this implicit bias are not well understood. In this work, we explore the hypothesis that SGD is implicitly biased towards learning functions that are smooth. We propose several measures to formalize the intuitive notion of smoothness, and conduct experiments to determine whether these measures are implicitly being optimized for. We exclude the possibility that smoothness measures based on first derivatives (the gradient) are being implicitly optimized for. Measures based on second derivatives (the Hessian), on the other hand, show promising results. 1
Dokumenty
Stáhnout Dokument Autor Typ Velikost
Stáhnout Text práce Bc. Václav Volhejn 1.17 MB
Stáhnout Příloha k práci Bc. Václav Volhejn 680 kB
Stáhnout Abstrakt anglicky Bc. Václav Volhejn 39 kB
Stáhnout Posudek vedoucího Mgr. Tomáš Musil 144 kB
Stáhnout Posudek oponenta RNDr. Milan Straka, Ph.D. 230 kB
Stáhnout Záznam o průběhu obhajoby RNDr. Filip Zavoral, Ph.D. 152 kB