Využití umělých neuronových sítí k urychlení evolučních algoritmů

• Thesis title in Czech: Využití umělých neuronových sítí k urychlení evolučních algoritmů
• Thesis title in English: Utilizing artificial neural networks to accelerate evolutionary algorithms
• Key words: optimalizace, evoluční algoritmus, neuronová síť, náhradní model, regrese
• English key words: optimization, evolutional algorithm, neural network, surrogate model, regression
• Academic year of topic announcement: 2008/2009
• Thesis type: diploma thesis
• Thesis language: čeština
• Department: Department of Software Engineering (32-KSI)
• Supervisor: prof. RNDr. Ing. Martin Holeňa, CSc.
• Author: MUDr. Mgr. Antonín Wimberský - assigned and confirmed by the Study Dept.
• Date of registration: 27.10.2008
• Date of assignment: 27.10.2008
• Date and time of defence: 05.09.2011 10:30
• Date of electronic submission: 05.08.2011
• Date of submission of printed version: 05.08.2011
• Date of proceeded defence: 05.09.2011
• Opponents: Mgr. Jakub Gemrot, Ph.D.

Guidelines

Student se nejdříve seznámí s principy optimalizace pomocí evolučních algoritmů a se základy umělých neuronových sítí. Bude přitom věnovat pozornost i urychlení evoluční optimalizace empirických funkcí pomocí regresního modelu cílové funkce. S využitím prostudované literatury analyzuje možnosti použití některých typů umělých neuronových sítí pro konstrukci takových regresních modelů. Několik nejslibnějších z nich rozpracuje až do implementovatelné podoby a zahrne je do prototypové implementace. Na závěr porovná implementovaná řešení na několika testovacích funkcích pro evoluční algoritmy, jakož i na alespoň jedné databázi hodnot empirické cílové funkce z reálné aplikace, kterou dostane od vedoucího práce.

References

* Genetic Algorithm and Direct Search Toolbox, version 2. The MathWorks, Inc.: Natick, 2004.
* Y. Jin, A comprehensive survey of fitness approximation in evolutionary computation. Soft Compuing, 9 (2005) 3?12.
* Y. Jin, M. Hüsken, M. Olhofer, B. Sendhoff. Neural networks for fitness approximation in evolutionary optimization. In Knowledge Incorporation in Evolutionary Computation. Berlin, Springer, 2005, 281?306.
* Neural Network Toolbox User's Guide, version 4. The MathWorks, Inc.: Natick, 2005.
* Y.S. Ong, P.B. Nair, A.J. Keane, K.W. Wong, Surrogate-assisted evolutionary optimization frameworks for high-fidelity engineering design problems. In Knowledge Incorporation in Evolutionary Computation. Berlin, Springer, 2005, 307?331.
* H. Ulmer, F. Streichert, A. Zell, Model assisted evolution strategies. In Knowledge Incorporation in Evolutionary Computation. Berlin, Springer, 2005, 333?355.

Preliminary scope of work

Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímvějších informací v dostupných datech či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami cílové funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu cílové funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty cílové funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty cílové funkce používají empirickou cílovou funcki jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. K nejslibnějším regresním modelům patří některé typy umělých neuronových sítí, které mají tzv. univerzální aproximační schopnost, zejména vícevrstvé perceptrony a RBF sítě. Výzkum využitelnosti takových typů umělých neuronových sítí k urychlení evoluční optimalizace empirických funkcí je však teprve na samém počátku. Příspěvkem k němu by měla být i navrhovaná diplomová práce.