velikost textu

Bayesian Optimization of Hyperparameters Using Gaussian Processes

Upozornění: Informace získané z popisných dat či souborů uložených v Repozitáři závěrečných prací nemohou být použity k výdělečným účelům nebo vydávány za studijní, vědeckou nebo jinou tvůrčí činnost jiné osoby než autora.
Název:
Bayesian Optimization of Hyperparameters Using Gaussian Processes
Název v češtině:
Bayesovská optimalizace hyperparametrů pomocí Gaussovských procesů
Typ:
Diplomová práce
Autor:
Bc. Jakub Arnold
Vedoucí:
RNDr. Milan Straka, Ph.D.
Oponent:
Mgr. Marta Vomlelová, Ph.D.
Id práce:
212253
Fakulta:
Matematicko-fyzikální fakulta (MFF)
Pracoviště:
Ústav formální a aplikované lingvistiky (32-UFAL)
Program studia:
Informatika (N1801)
Obor studia:
Umělá inteligence (IUI)
Přidělovaný titul:
Mgr.
Datum obhajoby:
10. 6. 2019
Výsledek obhajoby:
Výborně
Jazyk práce:
Angličtina
Klíčová slova:
gaussovský proces, bayesovská optimalizace, globální optimalizace, neuronová síť
Klíčová slova v angličtině:
gaussian process, bayesian optimization, global optimization, neural network
Abstrakt:
Cílem této práce bylo naimplementovat praktický nástroj pro optimalizaci hyperparametrů neuronových sítí pomoci bayesovské optimalizace. Práce zavádí potřebnou teorii pro bayesovskou optimalizaci, včetně matematických základů pro regresi pomocí gaussovských procesů, a dalších rozšíření bayesovské optimal- izace. Abychom mohli porovnat efektivnitu bayesovské optimalizace provedli jsme několik realistických experimentů s různými architekturami neuronových sítí. Bayesovskou optimalizaci jsme také srovnali s náhodným prohledáváním, kde ve většině případů záskala lepší výslednou hodnotu optimalizované funkce, včetně menšího rozptylu v opakovaných experimentech. Ve třech ze čtyř ex- perimentů Bayesovská optimalizace získala lepší výsledek, než ručně optimali- zované hyperparametry. Navíc také ukazujeme, jak může být regrese pomocí gaussovských procesů použita pro vizualizaci vlivů jednotlivých hyperparametrů na optimalizovanou funkci, a také závislostí mezi více hyperparametry. 1
Abstract v angličtině:
The goal of this thesis was to implement a practical tool for optimizing hy- perparameters of neural networks using Bayesian optimization. We show the theoretical foundations of Bayesian optimization, including the necessary math- ematical background for Gaussian Process regression, and some extensions to Bayesian optimization. In order to evaluate the performance of Bayesian op- timization, we performed multiple real-world experiments with different neural network architectures. In our comparison to a random search, Bayesian opti- mization usually obtained a higher objective function value, and achieved lower variance in repeated experiments. Furthermore, in three out of four experi- ments, the hyperparameters discovered by Bayesian optimization outperformed the manually designed ones. We also show how the underlying Gaussian Process regression can be a useful tool for visualizing the effects of each hyperparameter, as well as possible relationships between multiple hyperparameters. 1
Dokumenty
Stáhnout Dokument Autor Typ Velikost
Stáhnout Text práce Bc. Jakub Arnold 4.28 MB
Stáhnout Příloha k práci Bc. Jakub Arnold 21.71 MB
Stáhnout Abstrakt v českém jazyce Bc. Jakub Arnold 18 kB
Stáhnout Abstrakt anglicky Bc. Jakub Arnold 19 kB
Stáhnout Posudek vedoucího RNDr. Milan Straka, Ph.D. 59 kB
Stáhnout Posudek oponenta Mgr. Marta Vomlelová, Ph.D. 93 kB
Stáhnout Záznam o průběhu obhajoby doc. RNDr. Iveta Mrázová, CSc. 152 kB