Teoretické otázky neuronových sítí - efektivita - NAIL027

• Anglický název: Theoretical Issues in Neural Networks - Efficiency
• Zajišťuje: Katedra softwarového inženýrství (32-KSI)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2007
• Semestr: zimní
• E-Kredity: 6
• Rozsah, examinace: zimní s.:2/2, Z+Zk [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: zrušen
• Jazyk výuky: čeština
• Způsob výuky: prezenční
• Způsob výuky: prezenční
• Garant: doc. RNDr. Jiří Šíma, CSc.
• Třída: Informatika Mgr. - volitelný
• Kategorizace předmětu: Informatika > Teoretická informatika
• Korekvizity : NAIL002

Anotace

čeština

Poslední úprava: T_KSI (19.02.2007)

Přednáška podává přehled výpočetní teorie modelu neuronových sítí: taxonomie, deskriptivní a výpočetní síla, složitost učení. Referativní seminář zaměřený na nejnovější výsledky. Přednáška se koná jednou za dva roky.

angličtina

Poslední úprava: T_KSI (07.05.2002)

The course provides a review of the computational theory of neural network models: taxonomy, descriptive and computational power, learning complexity. The seminar concentrates on recent results.

Literatura

Poslední úprava: T_KSI (05.05.2004)

M. Anthony, P.L. Bartlett: Neural Network Learning: Theoretical Foundations. Cambridge, UK: Cambridge University Press, 1999.

V.P. Roychowdhury, K.-Y. Siu, A. Orlitsky (eds.): Theoretical Advances in Neural Computation and Learning. Boston: Kluwer Academic Publishers, 1994

K.-Y. Siu, V.P. Roychowdhury, T. Kailath: Discrete Neural Computation: A Theoretical Foundation. Englewood Cliffs. NJ: Prentice Hall, 1995.

J. Sima, R. Neruda: Teoreticke otazky neuronovych siti. Praha: MATFYZPRESS, 1996.

Sylabus

čeština

Poslední úprava: T_KSI (05.05.2004)

PREDPOKLADY: Zakladni znalosti z teorie slozitosti (TIN016); doporucuje se zakladni kurs neuronovych siti (AIL002), ale neni podminkou.

1. Perceptron: celociselna reprezentace, velikost vahy, problem linearni separability.

2. Dopredne site: implementace aritmetickych a logickych funkci, univerzalni prahovy obvod, hierarchie $TC^0$ a jeji separace pro male hloubky, efektivita hardwarove implementace, analogove a pravdepodobnostni obvody.

3. Rekurentni site: neuronove akceptory jazyku a kolmogorovska slozitost vah, nekonecne posloupnosti siti, pravdepodobnostni modely.

4. Hopfieldovy site: konvergence a odhad casu vypoctu, stabilni stavy, minimalizace energie, vypocetni sila, spojity cas.

5. Alternativni modely: RBF site, Kohonenovy site, spiking neurony.

6. Slozitost uceni: loading problem, vzorkova slozitost a VC-dimenze, PAC model.

angličtina

Poslední úprava: T_KSI (07.05.2002)

1. Perceptron: integer representation, weight size, linear separability problem.

2. Feedforward networks: implementation of arithmetic and logical functions, universal threshold circuit, $TC^0$-hierarchy and its separation for small depths, total wire length, analog and probabilistic circuits.

3. Recurrent networks: neural language acceptors and Kolmogorov complexity of weights, infinite families of networks, probabilistic models.

4. Hopfield networks: convergence time, stable states, energy minimization, computational power, continuous time.

5. Alternative models: RBF networks, Kohonen networks, spiking neurons.

6. Learning complexity: loading problem, sample complexity and VC-dimension, PAC model.

LITERATURA:

M. Anthony, P.L. Bartlett: Neural Network Learning: Theoretical Foundations. Cambridge, UK: Cambridge University Press, 1999.

V.P. Roychowdhury, K.-Y. Siu, A. Orlitsky (eds.): Theoretical Advances in Neural Computation and Learning. Boston: Kluwer Academic Publishers, 1994.

K.-Y. Siu, V.P. Roychowdhury, T. Kailath: Discrete Neural Computation: A Theoretical Foundation. Englewood Cliffs, NJ: Prentice Hall, 1995.

J. Sima, R. Neruda: Teoreticke otazky neuronovych siti. Praha: MATFYZPRESS, 1996.