PředmětyPředměty(verze: 962)
Předmět, akademický rok 2024/2025
   Přihlásit přes CAS
Neuronové sítě - NAIL002
Anglický název: Neural Networks
Zajišťuje: Katedra teoretické informatiky a matematické logiky (32-KTIML)
Fakulta: Matematicko-fyzikální fakulta
Platnost: od 2023
Semestr: zimní
E-Kredity: 8
Rozsah, examinace: zimní s.:4/2, Z+Zk [HT]
Počet míst: neomezen
Minimální obsazenost: neomezen
4EU+: ne
Virtuální mobilita / počet míst pro virtuální mobilitu: ne
Stav předmětu: vyučován
Jazyk výuky: angličtina, čeština
Způsob výuky: prezenční
Způsob výuky: prezenční
Garant: doc. RNDr. Iveta Mrázová, CSc.
RNDr. František Mráz, CSc.
Vyučující: RNDr. František Mráz, CSc.
doc. RNDr. Iveta Mrázová, CSc.
Třída: Informatika Mgr. - Teoretická informatika
Kategorizace předmětu: Informatika > Teoretická informatika
Neslučitelnost : NAIX002
Záměnnost : NAIX002
Je korekvizitou pro: NAIL027
Je neslučitelnost pro: NAIX002
Je prerekvizitou pro: NAIL026
Je záměnnost pro: NAIX002
Anotace -
Teorie neuronových sítí (NS) je motivována poznatky o CNS (centrální nervové soustavě) a odvozuje z nich matematické modely, které mají (přes velké zjednodušení skutečných neurofyziologických dějů v CNS) některé rysy přirozené inteligence. Ty jsou pak využívány k návrhům netradičních výpočetních postupů při řešení řady praktických úloh.
Poslední úprava: ()
Cíl předmětu -

Naučit teorii, algoritmy a metody používané pro různé modely neuronových sítí.

Poslední úprava: Mráz František, RNDr., CSc. (30.09.2020)
Podmínky zakončení předmětu -

A) Cvičení

V doprovodném Moodle-kurzu budou postupně zveřejňované úkoly a testy.

Úkoly:

Každý úkol má stanovené datum odevzdání. Řešení lze do systému vkládat postupně a průběžně ho upravovat. Časem odevzdání je čas kliknutí na tlačítko "Odevzdat úkol". Po kliknutí na toto tlačítko řešení už nelze opravovat, ale lze zažádat e-mailem učitele o vrácení do stavu rozpracování. Každý úkol bude učitelem oznámkován přidělením 0–10 bodů. Za celý semestr budou zadány 3 úkoly.

Typické řešení úkolu bude sestávat z textu – popisu řešení – a kódu v Pythonu použitého na vyřešení úkolu. Oboje, text i kód lze odevzdat ve formě Jupyterovského notebooku. Alternativně můžete texty odevzdat ve formátu PDF a kódy jako jednoduché ASCII soubory.

Upozornění: V případě, že bude zjištěno, že N≥2 posluchačů odevzdalo řešení, která se nápadně podobají nebo jsou zcela totožné, budou všechna tato řešení považována za jedno řešení. Toto řešení bude ohodnoceno B body podle jeho kvality, ale každý z těchto N řešitelů získá pouze dolní celou část z B/N bodů.

Testy:

Kromě úkolů, budou postupně zveřejňovány on-line testy. Za první tzv. vstupní test lze získat maximálně 10 bodů. V průběhu semestru můžete získat 20 bodů za čtyři kratší testy. Každý test bude mít stanovené datum, do kterého musí být vyřešen. Řešit test po tomto datu nebude možné.

Pro získání zápočtu je nutné:

  1. Vypracovat řešení všech úkolů a za řešení každého úkolu získal alespoň 1 bod. POZOR: za pozdní odevzdání úkolu se strhává 1 bod za každý započatý týden po termínu odevzdání!
  2. Vypracovat a přednést řešení projektu na jednom z posledních cvičení nebo v termínu prezentací v zkouškovém období (jeho datum a čas bude dohodnutý na cvičení v posledním týdnu semestru). Témata projektů budou dohodnuté přibližně v půlce semestru na cvičení. Prezentace a odevzdané řešení budou taktéž ohodnoceny dohromady 0–15 body. 

Řešení on-line testů není nutnou podmínkou pro získání zápočtu. Na cvičeních lze získat dodatečné body

  • za předvedení řešení úkolu zadaného na cvičení — 1 bod,
  • za předvedení řešení úkolu zadaného a odevzdaného v Moodlu (po termínu odevzdání) — dolní celá část poloviny bodů, které budou přiděleny za odevzdané řešení.

Bez dodatečných bodů tak lze za celý semestr získat až 75 bodů. Body získané za celý semestr budou zkoušejícím započítány do celkové známky za předmět tak, aby tvořily 35% výsledného bodového hodnocení, ze kterého bude odvozena známka při zkoušce. I když student získá z cvičení více než 75 bodů (po započítání dodatečných bodů), tak tyto budou započítány pouze jako 35% do hodnocení zkoušky.

Získání zápočtu vyžaduje průběžnou práci přes celý semestr, a proto žádné náhradní termíny pro získání zápočtu nebudou vypsány.

B) Přednáška

Přednáška se koná dvakrát týdně podle rozvrhu. Jak už bylo zmíněno výše, body získané z cvičení budou započítány s vahou 35% do celkového hodnocení posluchače. Dále se budou v rámci cvičení psát dva online testy. Dny konání testů budou vypsány na začátku semestru a budou zveřejněné v doprovodném Moodle kurzu. Každý z testů přispěje 10% k celkovému hodnocení. Samotná zkouška na konci semestru se započítává 45% do výsledného hodnocení. Posluchač získá známku na základě celkového hodnocení podle následující tabulky

známka 1 známka 2 známka 3 nevyhověl
100%–86% 85%–71% 70%–56% méně než 56%

Poslední úprava: Mráz František, RNDr., CSc. (03.10.2023)
Literatura -

  1. Abu-Mostafa Y. S., Magdon-Ismail M., Lin H.-T.: Learning From Data: A Short Course, AMLbook.com, 2012
  2. Goldberg D. E.: Genetic Algorithms in Search, Optimization and Machine Learning, Addison-Wesley, Reading, Mass. 1989
  3. Haykin S.: Neural Networks and Learning Machines, 3rd Edition, Pearson, 2009
  4. Kohonen T.: Self-Organizing Maps, Springer-Verlag, 1995
  5. Rojas R.: Neural Networks: A Systematic Introduction, Springer-Verlag, Berlin, 1996
  6. Šíma J. and Neruda R.: Teoretické otázky neuronových sítí, Matfyz Press, Praha, 1997

Poslední úprava: Mrázová Iveta, doc. RNDr., CSc. (27.05.2020)
Požadavky ke zkoušce -

Zkouška se skládá z písemné a ústní části. Písemná část předchází části ústní, její nesplnění znamená, že celá zkouška je hodnocena známkou nevyhověl(a) a ústní částí se již nepokračuje. Nesložení ústní části znamená, že při příštím termínu je nutno opakovat obě části zkoušky, písemnou i ústní. Známka ze zkoušky se stanoví na základě bodového hodnocení písemné i ústní části zkoušky a bodového hodnocení získaného za práci během semestru (viz podmínky zakončení předmětu).

Písemná část zkoušky bude sestávat ze tří otázek k tématům, která korespondují se sylabem přednášky a/nebo látce procvičované na cvičení.

Požadavky ke zkoušce odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce, resp. cvičení. Nutnou podmínkou pro účast na zkoušce je získání zápočtu.

Poslední úprava: Mrázová Iveta, doc. RNDr., CSc. (27.05.2020)
Sylabus -

1. Úvod do problematiky umělých neuronových sítí

  • Biologický neuron a neuronové sítě, přenos signálu v axonu a synapsích, zpracování informací v neuronech, hlavní části mozku.
  • Historie a základní principy umělých neuronových sítí.
  • Adaptace a učení, formální zápis vzorů.
  • Výběr a uspořádání příznaků, výběr a uspořádání trénovacích vzorů.

2. První modely umělých neuronových sítí

  • Formální neuron, váhy, potenciál, přenosová funkce.
  • Základní typy umělých neuronových sítí.
  • Konekcionalismus, učení a rozpoznávání, učení s učitelem a samoorganizace, extrakce znalostí, generalizace a robustnost.
  • Perceptron a lineární separabilita, dělicí nadrovina. Perceptronový algoritmus učení a jeho konvergence, přihrádkový algoritmus.

3. Dopředné sítě a algoritmus zpětného šíření

  • Algoritmus zpětného šíření - odvození adaptačních pravidel. Trénovací, testovací a validační množina, různé strategie učení.
  • Interní reprezentace znalostí, generalizace, over-fitting and over-sizing, Vapnik-Chervonenkisova dimenze.
  • Kolmogorovova věta, aproximace funkcí, složitost problému učení.
  • Oblasti a principy použití dopředných sítí perceptronového typu.

4. Asociativní sítě

  • Umělé neuronové sítě se zpětnou vazbou, Hebbovské učení, kapacita paměti, atraktory, energetická funkce a konvergence ke stabilním stavům.
  • Asociativní paměti, bidirektivní asociativní paměť (BAM), Hopfieldův model, spojitý Hopfieldův model, simulované žíhání, Boltzmannův stroj.
  • Použití Hopfieldovy sítě k hledání suboptimálních řešení NP-úplných problémů.

5. Samoorganizace a hybridní modely

  • Posilované učení bez učitele - Ojův algoritmus učení pro PCA.
  • Kohonenovy samoorganizační mapy a algoritmy pro jejich učení, laterální inhibice, topologické okolí.
  • Algoritmus vstřícného šíření (Counter-propagation), RBF-sítě, adaptivní rezonance (ART).
  • Kaskádová korelace a modulární neuronové sítě - sítě lokálních expertů.

6. Genetické algoritmy

  • Formulace optimalizačního problému, populace jedinců, základní genetické operátory - selekce, křížení, mutace.
  • Cílová funkce (fitness function). Analýza konvergence - věta o schematech.
  • Aplikace genetických algoritmů v oblasti umělých neuronových sítí.

Poslední úprava: Mráz František, RNDr., CSc. (30.09.2020)
 
Univerzita Karlova | Informační systém UK