PředmětyPředměty(verze: 811)
Předmět, akademický rok 2017/2018
   Přihlásit přes CAS
Neuronové sítě - NAIL002
Anglický název: Neural Networks
Zajišťuje: Katedra teoretické informatiky a matematické logiky (32-KTIML)
Fakulta: Matematicko-fyzikální fakulta
Platnost: od 2014
Semestr: zimní
E-Kredity: 9
Rozsah, examinace: zimní s.:4/2 Z+Zk [hodiny/týden]
Počet míst: neomezen
Minimální obsazenost: neomezen
Stav předmětu: vyučován
Jazyk výuky: čeština, angličtina
Způsob výuky: prezenční
Garant: doc. RNDr. Iveta Mrázová, CSc.
RNDr. František Mráz, CSc.
Třída: Informatika Mgr. - Teoretická informatika
Kategorizace předmětu: Informatika > Teoretická informatika
Anotace -
Poslední úprava: ()

Teorie neuronových sítí (NS) je motivována poznatky o CNS (centrální nervové soustavě) a odvozuje z nich matematické modely, které mají (přes velké zjednodušení skutečných neurofyziologických dějů v CNS) některé rysy přirozené inteligence. Ty jsou pak využívány k návrhům netradičních výpočetních postupů při řešení řady praktických úloh.
Cíl předmětu
Poslední úprava: T_KTI (26.05.2008)

Naučit teorii, algoritmy a používané metody pro různé architektury neuronových sítí.

Podmínky zakončení předmětu -
Poslední úprava: RNDr. František Mráz, CSc. (10.10.2017)

A) Cvičení

V doprovodném Moodle-kurzu budou postupně zveřejňované úkoly a testy.

Úkoly:

Každý úkol má stanovené datum odevzdání. Řešení lze do systému vkládat postupně a průběžně ho upravovat. Časem odevzdání je čas kliknutí na tlačítko "Odeslat řešení k oznámkování". Po kliknutí na toto tlačítko řešení už nelze opravovat, ale lze zažádat e-mailem učitele o vrácení do stavu rozpracování. Každý úkol bude učitelem oznámkován přidělením 0-10 bodů. Za celý semestr budou zadány 4 úkoly.

Typické řešení úkolu bude sestávat z textu – popisu řešení – a kódu programu/skriptu použitého na vyřešení úkolu. Texty odevzdávejte ve formátu PDF, případně RTF, zdrojové kódy jako jednoduché ASCII soubory. 

Upozornění: V případě, že bude zjištěno, že N≥2 posluchačů odevzdalo řešení, která se nápadně podobají nebo jsou zcela totožné, budou všechna tato řešení považována za jedno řešení. Toto řešení bude ohodnoceno B body podle jeho kvality, ale každý z těchto N řešitelů získá pouze dolní celou část z B/N bodů.

Testy:

Kromě úkolů, budou postupně zveřejňovány on-line testy. Za první tzv. vstupní test lze získat maximálně 10 bodů a v průběhu semestru budou zadány další kratší testy, za které bude možné získat dohromady maximálně 10 bodů. Každý test bude mít stanovené datum, do kterého musí být vyřešen. Řešit test po tomto datu nebude možné. Na druhou stranu daný test lze řešit až třikrát s tím, že se započítává nejlepší výsledek.

Pro získání zápočtu je nutné:

  1. Vypracovat řešení všech úkolů a za řešení každého úkolu získal alespoň 1 bod. POZOR: za pozdní odevzdání úkolu se strhává 1 bod za každý započatý týden po termínu odevzdání!
  2. Vypracovat a přednést řešení projektu na jednom z posledních cvičení nebo v termínu prezentací v zkouškovém období (jeho datum a čas bude dohodnutý na cvičení v posledním týdnu semestru). Témata projektů budou dohodnuté přibližně v půlce semestru na cvičení. Prezentace a odevzdané řešení budou taktéž ohodnoceny dohromady 0-15 body. 

Mezi výše uvedenými podmínkami nejsou uvedeny on-line testy. Na cvičeních lze získať dodatečné body

  • za předvedení řešení úkolu zadaného na cvičení - 1 bod,
  • za předvedení řešení úkolu zadaného a odevzdaného v Moodlu (po termíně odevzdání) - dolní celá část poloviny bodů, které budou přiděleny za odevzdané řešení.

Bez dodatečných bodů tak lze za celý semestr získat až 75 bodů. Body získané za celý semestr budou zkoušejícím započítány do celkové známky za předmět tak, aby tvořily 35% výsledného bodového hodnocení, ze kterého bude odvozena známka při zkoušce. I když student získá z cvičení více než 75 bodů (po započítání dodatečných bodů), tak tyto bodou započítány pouze jako 35% do hodnocení zkoušky.

Získání zápočtu vyžaduje průběžnou práci přes celý semestr, a proto žádné náhradní termíny pro získání zápočtu nebudou vypsány.

B) Přednáška

Přednáška se koná dvakrát týdně podle rozvrhu. Jak už bylo zmíněno výše, body získané z cvičení budou započítány s vahou 35% do celkového hodnocení posluchače. Dále se budou v rámci přednášky psát dvě písemky

  • 15.11.2017 a
  • 20.12.2017

Každá z písemek přispěje 10% k celkovému hodnocení. Samotná zkouška na konci semestru se započítá 45% do výsledného hodnocení. Posluchač získá známku na základě celkového hodnocení podle následující tabulky

známka 1 známka 2 známka 3 nevyhověl
100%–86% 85%–71% 70%–56% méně než 56%

Literatura
Poslední úprava: doc. RNDr. Iveta Mrázová, CSc. (30.04.2015)

Abu-Mostafa Y. S., Magdon-Ismail M., Lin H.-T.: Learning From Data: A Short Course, AMLbook.com, 2012

Goldberg D. E.: Genetic Algorithms in Search, Optimization and Machine Learning, Addison-Wesley, Reading, Mass. 1989

Haykin S.: Neural Networks and Learning Machines, 3rd Edition, Pearson, 2009

Kohonen T.: Self-Organizing Maps, Springer-Verlag, 1995

Rojas R.: Neural Networks: A Systematic Introduction, Springer-Verlag, Berlin, 1996

Šíma J. and Neruda R.: Teoretické otázky neuronových sítí, Matfyz Press, Praha, 1997

Požadavky ke zkoušce -
Poslední úprava: RNDr. František Mráz, CSc. (14.10.2017)

Zkouška se skládá z písemné a ústní části. Písemná část předchází části ústní, její nesplnění znamená, že celá zkouška je hodnocena známkou nevyhověl(a) a ústní částí se již nepokračuje. Nesložení ústní části znamená, že při příštím termínu je nutno opakovat obě části zkoušky, písemnou i ústní. Známka ze zkoušky se stanoví na základě bodového hodnocení písemné i ústní části zkoušky a bodového hodnocení získaného za práci během semestru (viz podmínky zakončení předmětu).

Písemná část zkoušky bude sestávat ze tří otázek k tématům, která korespondují se sylabem přednášky a/nebo látce procvičované na cvičení.

Požadavky ke zkoušce odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce, resp. cvičení. Nutnou podmínkou pro účast na zkoušce je získání zápočtu.

Sylabus -
Poslední úprava: RNDr. František Mráz, CSc. (04.05.2015)

1. Úvod do problematiky umělých neuronových sítí

  • Biologický neuron a neuronové sítě, přenos signálu v axonu a synapsích, zpracování informací v neuronech, hlavní části mozku.
  • Historie a základní principy umělých neuronových sítí.
  • Adaptace a učení, formální zápis vzorů.
  • Výběr a uspořádání příznaků, výběr a uspořádání trénovacích vzorů, PCA-analýza.

2. První modely umělých neuronových sítí

  • Formální neuron, váhy, potenciál, přenosová funkce.
  • Základní typy umělých neuronových sítí.
  • Konekcionalismus, učení a rozpoznávání, učení s učitelem a samoorganizace, extrakce znalostí, generalizace a robustnost.
  • Perceptron a lineární separabilita, dělicí nadrovina. Perceptronový algoritmus učení a jeho konvergence, přihrádkový algoritmus.

3. Dopředné sítě a algoritmus zpětného šíření

  • Algoritmus zpětného šíření - odvození adaptačních pravidel. Trénovací, testovací a validační množina, různé strategie učení.
  • Interní reprezentace znalostí, generalizace, over-fitting and over-sizing, Vapnik-Chervonenkisova dimenze.
  • Kolmogorovova věta, aproximace funkcí, složitost problému učení.
  • Oblasti a principy použití dopředných sítí perceptronového typu.

4. Asociativní sítě

  • Umělé neuronové sítě se zpětnou vazbou, Hebbovské učení, kapacita paměti, atraktory, energetická funkce a konvergence ke stabilním stavům.
  • Asociativní paměti, bidirektivní asociativní paměť (BAM), Hopfieldův model, spojitý Hopfieldův model, simulované žíhání, Boltzmannův stroj.
  • Použití Hopfieldovy sítě k hledání suboptimálních řešení NP-úplných problémů.

5. Samoorganizace a hybridní modely

  • Posilované učení bez učitele - Ojův algoritmus učení pro PCA.
  • Kohonenovy samoorganizační mapy a algoritmy pro jejich učení, laterální inhibice, topologické okolí.
  • Algoritmus vstřícného šíření (Counter-propagation), RBF-sítě, adaptivní rezonance (ART).
  • Kaskádová korelace a modulární neuronové sítě - sítě lokálních expertů.

6. Genetické algoritmy

  • Formulace optimalizačního problému, populace jedinců, základní genetické operátory - selekce, křížení, mutace.
  • Cílová funkce (fitness function). Analýza konvergence - věta o schematech.
  • Aplikace genetických algoritmů v oblasti umělých neuronových sítí.

 
Univerzita Karlova | Informační systém UK