Využití umělých neuronových sítí k řízení genetických algoritmů

• Thesis title in Czech: Využití umělých neuronových; sítí k řízení; genetických algoritmů
• Thesis title in English: Using artificial neural networks to control genetic algorithms
• Key words: Optimalizace, genetické algoritmy, samoorganizující mapy
• English key words: Optimization, genetic algorithms, self-organizing maps
• Academic year of topic announcement: 2006/2007
• Thesis type: diploma thesis
• Thesis language: čeština
• Department: Department of Software Engineering (32-KSI)
• Supervisor: prof. RNDr. Ing. Martin Holeňa, CSc.
• Author: hidden - assigned and confirmed by the Study Dept.
• Date of registration: 23.10.2006
• Date of assignment: 23.10.2006
• Date and time of defence: 21.05.2012 09:30
• Date of electronic submission: 13.04.2012
• Date of submission of printed version: 13.04.2012
• Date of proceeded defence: 21.05.2012
• Opponents: Mgr. Jakub Gemrot, Ph.D.

Guidelines

Student by se měl nejdříve v rámci rešeršní práce seznámit se základy umělých neuronových sítí a evolučních, zejména genetických algoritmů, jakož i s nejdůležitějšími dosavadními pokusy využít umělých neuronových sítí k řízení evolučních optimalizačních algoritmů. Poté by se měl seznámit s implementací konkrétního genetického algoritmu a analyzovat, jakým způsobem by bylo možné využít k řízení tohoto algoritmu umělých neuronových sítí a o jaký typ sítí by mělo jít. Výsledky své analýzy by měl ověřit prototypovou implementací patřičného modulu nebo několika alternativních modulů ve vývojovém prostředí Matlab.

References

1. J. Huhse, A. Zell. Evolution strategy with neigborhood attraction - A robust evolution stratregy. In Proceedings of the Genetic and Evolutionary Computation Conference GECCO 2001, Morgan Kaufmann, San Francisco, 2001, 1026-1033.
2. J. Huhse, T. Villmann, P. Merz, A. Zell. Evolution Strategy with Neighborhood Attraction Using a Neural Gas Approach. In Proceedings of the 7th International Conference on Parallel Problem Solving from Nature, 2002, Springer, Berlin, 391-400.
3. K.S. Hwang, J.Y. Chiou, Y.P. Hsu. A self-organizing genetic algorithm with an eugenic strategy. Journal of Information Science and Engineering, 17: 35-45, 2001.
4. T. Kohonen. Self-Organizing Maps. Springer, Berlin, 2001.
5. M. Ros, M. Pointore, J.R. Chr¢¥etien. Molecular descriptor selection combining genetic algorithms and fuzzy logic: application to database mining procedures. Chemometrics and Intelligent Laboratory Systems, 63: 15-26, 2002.

Preliminary scope of work

Mezi oblastmi informatiky, které v uplynulých 20 letech prodělaly nejrychlejší rozvoj, jsou dvě nápadné inspirací v biologických vědách - umělé neuronové sítě a evoluční optimalizační algoritmy. Umělé neuronové sítě jsou distribuované výpočetní systémy pokoušející se implementovat větší či menší část funkcionality biologických nervových soustav. Nejstarší druhy těchto systémů byly navrženy právě za účelem studia a modelování neuronů a nervových soustav živočichů a člověka. K zájmu o umělé neuronové sítě nicméně přispěly především některé jejich biologicky méně věrné druhy, které však mají pozoruhodné matematické vlastnosti - např. schopnost libovolně přesně aproximovat i velmi obecné funkce, či schopnost nacházet asociace v datech nebo shlukovat data na základě vnitřní podobnosti. Evoluční optimalizační algoritmy jsou stochastické optimalizační metody, v nichž při hledání optima cílové funkce hrají podstatnou roli heuristiky inspirované výběrem nejúspěšnějších jedinců v biologickém vývoji druhů. Nejvýznamnějším představitelem evolučních algoritmů jsou genetické algoritmy, v nichž se používají heuristiky inspirované vývojem genotypu. Popularita umělých neuronových sítí a genetických algoritmů a jejich úspěšnost v aplikacích přirozeně vedla ke snahám zvýšit přínos obou těchto oblastí jejich kombinováním. Až téměř do současnosti se však bylo možné setkat pouze s jediným typem kombinování - genetické algoritmy se používaly k řešení optimalizačních úloh vyskytujících se při návrhu umělých neuronových sítí, konkrétně pro hledání nejvhodnější architektury sítě a pro nastavení jejích parametrů (učení sítě). Teprve v nedávné době se objevily první pokusy využít naopak umělých neuronových sítí k řízení heuristik, na nichž spočívají genetické algoritmy, a tím v podsatě k řízení těchto algoritmů. Tento přístup je tudíž teprve ve stádiu zrodu a veškerý výzkum a prototypové implementace v této oblasti jsou velmi důležité. Právě takový výzkum a prototypová implementace, pro případ jednoho konkrétního genetického algoritmu, jsou náplní navrhované diplomové práce.

Preliminary scope of work in English

Among the areas of computer science that have undergone the most rapid development during the last 20 years, there are two noticeable due to their inspiration in biological sciences – artificial neural networks and evolutionary optimization algorithms. Artificial neural networks are distributed computing systems attempting to implement a larger or smaller part of the functionality of biological neural systems. In fact, the study and modelling of the neurons and neural systems of the animals and the man was the purpose for which the oldest kinds of these systems were designed. To the interest in artificial neural networks, nevertheless, contributed especially some kinds of them that are biologically less faithful, but have remarkable mathematical properties – e.g., the ability to approximate even very general functions with an arbitrary precision, or the ability to find associations in data or to cluster data based on their inner similarity. Evolutionary optimization algorithms are stochastic optimization methods in which heuristics inspired by the selection of most successful individuals in the biological evolution of species play an essential role in the search for the optimum of the objective function. The most important representative of evolutionary algorithms are genetic algorithms, in which heuristics inspired by the evolution of genotype are used. The popularity of artificial neural networks and genetic algorithms has naturally lead to efforts to increase the contribution of both these areas through combining them. Nearly till the present time, however, only one kind of combining could be encountered – genetic algorithms have been used to solve the optimization tasks occuring during neural network design, in particular to search for the most appropriate architecture of the network, and to tune its parameters (network learning). Only recently, first attempts occured to use on the other hand neural networks to control the heuristics on which genetic algorithms rely, thus basically to control those algorithms. Consequently, that approach is only just emerging, and all reaearch and prototype implementations in this area are very important. It is such a research and prototype implementation, for one particular genetic algorithm, that are the yopic of the proposed master thesis.