Témata prací (Výběr práce)Témata prací (Výběr práce)(verze: 368)
Detail práce
   Přihlásit přes CAS
Urychlení evolučních algoritmů pomocí transformerů
Název práce v češtině: Urychlení evolučních algoritmů pomocí transformerů
Název v anglickém jazyce: Accelerating evolutionary algorithms by means of transformers
Akademický rok vypsání: 2023/2024
Typ práce: diplomová práce
Jazyk práce:
Ústav: Katedra teoretické informatiky a matematické logiky (32-KTIML)
Vedoucí / školitel: prof. RNDr. Ing. Martin Holeňa, CSc.
Řešitel:
Zásady pro vypracování
K nejstarším druhům náhradních modelů, které se začaly používat už před 20 i více lety, patřily i tradiční typy umělých neuronových sítí – vícevrstvé perceptrony a sítě s radiálními bázovými funkcemi. Naproti tomu moderní typy neuronových sítí, vyvíjené až v tomto století, byly doposud používány k náhradnímu modelování jen velmi málo nebo vůbec ne. Jedním z nejdůležitější typů moderních neuronových sítí jsou transformery, které se velmi osvědčily zejména s textovými a obrázkovými daty. Jejich nejvýznačnějším rysem je vyhodnocování korelace mezi daty použitými při trénování transformeru a daty, pro která má provádět predikce, pomocí specifické posloupnosti lineárních operátorů označované jako pozornost. Použití lineárních operátorů umožňuje transformerům trénovaným na velkém množství heterogenních dat výrazně zvýšit kvalitu predikce následným dotrénováním na malém množství dat specifických pro daný problém. Díky úspěšnosti transformerů bylo již navrženo použití transformerů i v optimalizaci, zatím ale ještě ne v roli náhradního modelu. Vyzkoušení tohoto přístupu je právě náplní navrhované práce.
Seznam odborné literatury
víz https://www.cs.cas.cz/~martin/diplomka69.html
Předběžná náplň práce
Evoluční algoritmy jsou v posledních desetiletích jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, hledání nejvhodnějších materiálů s požadovanými vlastnostmi či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá někdy značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model, sloužící jako její náhradní model.
 
Univerzita Karlova | Informační systém UK