Úvod do strojového učení v systému R - NPFL054

• Anglický název: Introduction to Machine Learning with R
• Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2024
• Semestr: letní
• E-Kredity: 5
• Rozsah, examinace: letní s.:2/2, Z+Zk [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: zrušen
• Jazyk výuky: čeština, angličtina
• Způsob výuky: prezenční
• Další informace: https://ufal.mff.cuni.cz/course/npfl054
• Garant: doc. Mgr. Barbora Vidová Hladká, Ph.D.; RNDr. Martin Holub, Ph.D.
• Třída: DS, matematická lingvistika; Informatika Bc.; Informatika Mgr. - Matematická lingvistika
• Kategorizace předmětu: Informatika > Informatika, Aplikační software, Počítačová grafika a geometrie, Databázové systémy, Didaktika informatiky, Diskrétní matematika, Předměty širšího základu, Předměty obecného základu, Počítačová a formální lingvistika, Optimalizace, Programování, Softwarové inženýrství, Teoretická informatika, Počítačová a formální lingvistika
• Neslučitelnost : NPFL129
• Záměnnost : NPFL129
• Je neslučitelnost pro: NPFL129
• Je záměnnost pro: NPFL129

Anotace

čeština

Přednášky pokrývají jak teoretické základy, tak praktické algoritmy strojového učení (SU). Je kladen důraz na komplexní pochopení procesu SU, který zahrnuje analýzu dat, volbu metody SU, ladění parametrů učení a statistické vyhodnocení a porovnání výsledných modelů. Cvičení jsou zaměřena na využití standardních knihoven statistického systému R v úlohách SU. Všechny domácí úkoly jsou praktická cvičení s použitím R, přičemž poslední úkol je nejrozsáhlejší a zahrnuje komplexní zpracování typického, nepříliš náročného problému a zpracování zprávy o variantách řešení a jejich vyhodnocení.

Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (15.05.2020)

angličtina

Lectures cover both theoretical background and practical algorithms of Machine Learning (ML). The emphasis is placed on comprehensive understanding of the ML process, which includes data analysis, choice of ML algorithm, learning parameters tuning, statistical evaluation and model assessment. Lab sessions aim at practical experience with ML tasks using existing R libraries. Homework assignments are practical exercises using R. The last assignment is the most extensive and includes comprehensive processing of a typical, not very demanding problem, and writing a report on solution variants and t

Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (15.05.2020)

Cíl předmětu

čeština

Cílem kurzu je představit proces strojového učení z teoretického i praktického hlediska. Student se seznámí s teoretickými základy vybraných algoritmů a naučí se prakticky řešit úlohy strojového učení pomocí knihoven statistického systému R. Student musí zvládnout komplexní zpracování ukázkového problému strojového učení a dokumentaci o variantách řešení a jejich vyhodnocení.

Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (15.05.2020)

angličtina

The aim of the course is to present the Machine Learning process from both theoretical and practical point of view. Students get familiar with the theoretical foundations of selected algorithms and learn to practically solve Machine Learning problems using libraries of the statistical system R. Students must be able to comprehensively solve an example machine learning problem and analyze and describe solution variants and their evaluation.

Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (15.05.2020)

Podmínky zakončení předmětu

čeština

Studenti musí během semestru 1) prezentovat nebodovaný domácí úkol, 2) odevzdat dva bodované domácí úkoly tak, aby celkový počet bodů překročil stanovený bodový limit, a 3) napsat dva bodované testy tak, aby celkový počet bodů překročil stanovený bodový limit.

Získání zápočtu je podmínkou pro konání zkoušky.

Podrobnosti k domácím úkolům a testům jsou uvedeny na webové stránce předmětu.

Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (29.04.2021)

angličtina

During the term students have to 1) present easy homework, 2) submit two homework assignments so that the total score exceeds the required score limit, and 3) pass two written tests so that the total score exceeds the required score limit.

Obtaining the course credit is a prerequisite for taking the exam.

More details about homework assignments and tests are available on the course web site.

Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (29.04.2021)

Literatura

čeština

James, Gareth, Daniela Witten, Trevor Hastie, and Robert Tibshirani: An Introduction to Statistical Learning. Springer, 2013.

Lantz, Brett: Machine Learning with R. Packt Publishing, 2013.

Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (12.05.2020)

angličtina

James, Gareth, Daniela Witten, Trevor Hastie, and Robert Tibshirani: An Introduction to Statistical Learning. Springer, 2013.

Lantz, Brett: Machine Learning with R. Packt Publishing, 2013.

Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (15.05.2020)

Požadavky ke zkoušce

čeština

Zkouška se koná ústně, při hodnocení studenta se však berou do úvahy také výsledky písemných testů a domácích úkolů. Získání zápočtu je podmínkou pro konání zkoušky.

Požadavky ke zkoušce odpovídají sylabu předmětu. Podrobnosti jsou uvedené na webové stránce předmětu.

Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (29.04.2021)

angličtina

The exam is oral. However, the results of written tests and homework assignments are taken into account. Obtaining the course credit is a prerequisite for taking the exam.

The examination requirements correspond to the course syllabus. More details are available on the course web site.

Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (15.05.2020)

Sylabus

čeština

Strojové učení - základní koncepty, ukázky praktických aplikací, teoretické základy. Učení s učitelem, učení bez učitele. Klasifikační a regresní úlohy. Klasifikace do dvou nebo více tříd. Trénovací a testovací příklady. Vektory příznaků. Cílový atribut a predikční funkce. Vývojový cyklus strojového učení. Prokletí dimenzionality. Metody shlukování.

Rozhodovací stromy. Algoritmus učení, kritéria větvení a prořezávání. Náhodné lesy.

Lineární a logistická regrese. Metoda nejmenších čtverců. Diskriminativní klasifikátor.

Učení založené na příkladech. Algoritmus k-NN.

Naivní Bayesův klasifikátor. Bayesovské sítě.

Metoda podpůrných vektorů. Klasifikátor pro lineárně separabilní a neseparabilní třídy. Kernelové funkce.

Metody pro kombinaci prediktorů. Nestabilní algoritmy učení. Bagging a boosting. Algoritmus AdaBoost.

Parametry ve strojového učení, ladění hyperparametrů. Prohledávání prostoru parametrů. Metoda největšího spádu. Metoda maximální věrohodnosti.

Vyhodnocování experimentů. Práce s testovacími daty. Výběrová chyba, generalizační chyba. Křížová validace, metoda leave-one-out. Metoda bootstrap. Míry úspěšnosti. Vyhodnocování binárních klasifikátorů. Křivka ROC.

Statistické testy. Statistické hypotézy, jednovýběrový a dvouvýběrový t-test, chí-kvadrát testy. Hladina významnosti, p-hodnota. Použití statistických testů pro vyhodnocování klasifikátorů. Intervaly spolehlivosti.

Přetrénování. Jak odhalit a zabránit. Regularizace. Dekompozice chyby modelu na vychýlení a rozptyl.

Obecné principy selekce příznaků. Výběr příznaků pomocí informačního zisku, hladové algoritmy. Redukce dimenze, analýza hlavních komponent.

Základy neuronových sítí. Jednoduchý perceptron. Neuronové sítě s jednou skrytou vrstvou. Vícevrstvé dopředné modely, algoritmus zpětné propagace. Poznámky k hlubokému učení.

Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (15.05.2020)

angličtina

Machine learning - basic concepts, examples of practical applications, theoretical foundations. Supervised and unsupervised learning. Classification and regression tasks. Classification into two, or more classes. Training and test examples. Feature vectors. Target variable and prediction function. Machine learning development process. Curse of dimensionality. Clustering.

Decision tree learning. Learning algorithm, splitting criteria and pruning. Random forests.

Linear and logistic regression. Least squares methods. Discriminative classifiers.

Instance-based learning. k-NN algoritmus.

Naive Bayes classifier. Bayesian belief networks.

Support Vector Machines. Large and soft margin classifier. Kernel functions.

Ensemble methods. Unstable learning algorithms. Bagging and boosting. AdaBoost algorithm.

Parameters in machine learning. Hyperparameters tuning. Searching parameter space. Gradient descent algorithm. Maximum likelihood estimation.

Experiment evaluation. Working with development and test data. Sample error, generalization error. Cross-validation, leave-one-out method. Bootstrap method. Performance measures. Evaluation of binary classifiers. ROC curve.

Statistical tests. Statistical hypotheses, one-sample and two-sample t-tests, chi-square tests. Significance level, p-value. Using statistical tests for classifier evaluation. Confidence intervals.

Overfitting. How to recognize and avoid. Regularization. Bias-variance decomposition.

General principles of feature selection. Feature selection using information gain, greedy algorithms.

Dimensionality reduction, Principal Component Analysis.

Foundations of Neural Networks. Single Perceptron, Single Layer Perceptron. The architecture of multi-layer feed-forward models and the idea of back-propagation training. Remarks on deep learning.

Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (15.05.2020)