Úvod do strojového učení - NPFL054

• Anglický název: Introduction to Machine Learning
• Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2014 do 2017
• Semestr: zimní
• E-Kredity: 6
• Rozsah, examinace: zimní s.:2/2, Z+Zk [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: vyučován
• Jazyk výuky: čeština, angličtina
• Způsob výuky: prezenční
• Způsob výuky: prezenční
• Další informace: https://ufal.mff.cuni.cz/course/npfl054
• Garant: doc. Mgr. Barbora Vidová Hladká, Ph.D.; RNDr. Martin Holub, Ph.D.
• Třída: DS, matematická lingvistika; Informatika Bc.; Informatika Mgr. - Matematická lingvistika
• Kategorizace předmětu: Informatika > Informatika, Aplikační software, Počítačová grafika a geometrie, Databázové systémy, Didaktika informatiky, Diskrétní matematika, Předměty širšího základu, Předměty obecného základu, Počítačová a formální lingvistika, Optimalizace, Programování, Softwarové inženýrství, Teoretická informatika, Počítačová a formální lingvistika

Anotace

čeština

Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (25.01.2018)

Přednáška (svým obsahem úvodní) pokryje teoretické základy a základní algoritmy strojového učení (SU) nezávisle na širokém spektru mezioborových aplikací, ve kterých SU našlo své místo. Cvičení jsou aplikačně závislá - věnujeme se zvládnutí přístupů SU použitých v úlohách z různých oblastí. Přednáška je určena studentům bakalářského studia všech oborů MFF. Předpokládají se základní znalosti z pravděpodobnosti a statistiky. Přednáška se koná buď v českém nebo v anglickém jazyce, dle zájmu studentů.

angličtina

Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (25.01.2018)

This one-semester introductory course provides both theoretical background and the basic machine learning algorithms explained independently on a broad spectrum of multidisciplinary applications. The lab sessions are application-dependent and aim at  practical experience with machine learning applications related to different fields. This course is intended for students from the bachelor study programme. Introductory knowledge of probability and statistics is required. The course can be taught either in Czech or in English, based on students' preference.

Literatura

čeština

Poslední úprava: doc. Mgr. Barbora Vidová Hladká, Ph.D. (25.01.2018)

• Mitchel, Tom: Machine Learning. McGraw-Hill, 1997.

• James, Gareth, Daniela Witten, Trevor Hastie and Robert Tibshirani: An Introduction to Statistical Learning. Springer, 2013.

• Lantz, Brett: Machine Learning with R. Packt Publishing, 2013.

Sylabus

čeština

Poslední úprava: T_UFAL (10.05.2017)

1. Úvod: co je strojové učení, motivační příklady, interdisciplinarita strojového učení, řízené vs. neřízené učení, strojové učení a jeho aplikace.

2. Konceptuální učení: koncepty, uspořádání hypotéz, algoritmus FIND-S, algoritmus CE.

3. Rozhodovací stromy: rozhodovací strom jako datová struktura, algoritmus ID3, kritéria větvení, přetrénování, spojité atributy, chybějící atributy, informační kritérium Akaike.

4. Naivní Bayesův klasifikátor: Bayesův vzorec, posteriorní pravděpodobnost, metoda maximální věrohodnosti. Bayesovské sítě, algoritmus K2.

5. Vyhodnocení experimentů: přesnost, křížová validace, odhad chyby, bootstrapping, křivka ROC, statistická významnost výsledků, intervaly spolehlivosti.

6. Učení založené na příkladech: kritérium vzdálenosti, algoritmus K nejbližších sousedů, diskrétní/spojité případy, prokletí dimenzionality.

7. Metoda podpůrných vektorů: hranice lineárního oddělovače (klasifikátoru), (ne)lineární oddělovač, kvadratické programování, jádrové algoritmy.

8. Kombinace klasifikátorů: hlasování, bagging, boosting, AdaBoost, metoda náhodných lesů.

9. Logistická regrese.

10. Teoretické aspekty strojového učení: učení Probably Approximately Correct, Vapnik-Chervonenkisova dimenze.

11. Shlukování: dendrogramy, (ne)hierarchické shlukování, algoritmus K průměrů.

angličtina

Poslední úprava: T_UFAL (10.05.2017)

1. Introduction: what is machine learning, motivation examples, interdisciplinary nature of machine learning, supervised vs. unsupervised learning, machine learning and its applications.

2. Concept learning: concepts, hypothesis ordering, Find-S algorithm, Candidate-Elimination algorithm.

3. Decision Tree learning: decision tree structure, ID3 algorithm, splitting criteria, avoiding over-fitting, incorporating continuous-valued attributes, handling missing attribute values, Akaike information criterion.

4. Naive Bayes classifier: Bayes theorem, posterior probability, maximum likelihood estimation, Bayesian belief networks, K2 algorithm.

5. Experiment evaluation: accuracy, cross-validation, error estimation, bootstrapping, the ROC curve, statistical significance, confidence intervals.

6. Instance-based learning: distance criteria, the k-NN algorithm, the discrete and continuous case, the curse of dimensionality.

7. Support vector machines: the classifier separator, finding the hyperplane, the linear and non-linear separation, learning the maximum margin classifier via quadratic programming, Kernel tricks.

8. Ensemble methods: combination of classifiers, voting, bagging, boosting, AdaBoost, Random Forests.

9. Logistic Regression.

10. Probably Approximately Correct framework: PAC learnability, the Vapnik-Chervonenkis dimension.

11. Clustering: dendrograms, (non)hierarchical clustering, the K-means algorithm.