Po absolvování předmětu by studující budou

• Schopni rozmyslet, pro jaké problémy je strojové učení vhodné

• Vědět, pro jaké problémy použít klasifikaci, regresi a shlukovou analýzu

• Schopni vybrat nejvhodnější metodu z následující: lineární a logistická regrese, vícevrstvý perceptron, metoda nejbližších sousedu, naivní bayesovská klasifikace, gradient boosted decision trees, shlukování pomocí k středů

• Přemýšlet o učení jako o (převážně statistické) optimalizaci pomocí trénovacích dat

• Vědět, jak se modely strojového učení učí, včetně teoretických vysvětlení

• Vědět, jak správně evaluovat modely strojového učení

• Přemýšlet o generalizaci (a o tom, jak se vyhnout přeučení)

• Schopni vybrat správnou evaluační metriku

• Schopni zodpovědně rozhodnout, který model strojového učení je lepší

• Schopni implementovat algoritmy strojového učení na konceptuální úrovni v Pythonu

• Schopni použít knihovnu Scikit-learn pro strojové učení v Pythonu

After this course, students should…

• Be able to reason about tasks/problems suitable for ML

• Know when to use classification, regression, and clustering

• Be able to choose from this method Linear and Logistic Regression, Multilayer Perceptron, Nearest Neighbors, Naive Bayes, Gradient Boosted Decision Trees, kk-means clustering

• Think about learning as (mostly probabilistic) optimization on training data

• Know how the ML methods learn, including theoretical explanation

• Know how to properly evaluate ML

• Think about generalization (and avoiding overfitting)

• Be able to choose a suitable evaluation metric

• Responsibly decide what model is better

• Be able to implement ML algorithms on a conceptual level

• Be able to use Scikit-learn to solve ML problems in Python

Zápočet je udělován za vypracování dostatečného množství úloh. Úlohy jsou zadávány pravidelně celý semestr (běžně dvě každé cvičení) a na vypracování každé z nich je několik týdnů. Vzhledem ke způsobu obdržení zápočtu není možné jeho získání opakovat. Získání zápočtu není podmínkou k připuštění ke zkoušce.

Students pass the practicals by submitting sufficient number of assignments. The assignments are announced regularly through the whole semester (usually two per lecture) and are due in several weeks. Considering the rules for completing the practicals, it is not possible to retry passing it. Passing the practicals is not a requirement for going to the exam.

• Christopher M. Bishop: Pattern Recognition and Machine Learning. Springer Verlag. 2006.

• John Platt: Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines. 1998.

• Tianqi Chen, Carlos Guestrin: XGBoost: A Scalable Tree Boosting System. 2016.

• https://scikit-learn.org/

• Christopher M. Bishop: Pattern Recognition and Machine Learning. Springer Verlag. 2006.

• John Platt: Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines. 1998.

• Tianqi Chen, Carlos Guestrin: XGBoost: A Scalable Tree Boosting System. 2016.

• https://scikit-learn.org/

Zkouška je písemná a skládá se z náhodně volených otázek z předem známého seznamu. Požadavky zkoušky odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.

The exam is written and consists of questions randomly chosen from a publicly known list. The requirements of the exam correspond to the course syllabus, in the level of detail which was presented on the lectures.

Základní pojmy strojového učení

• učení s učitelem a bez učitele, zpětnovazební učení

• trénování, generalizace, přeučení, regularizace

• datová distribuce, trénovací/validační/testovací data

Lineární regrese

• analytické řešení

• řešení pomocí stochastic gradient descent (SGD)

Klasifikace

• binární klasifikace pomocí perceptronu

• binární klasifikace pomocí logistické regrese

• klasifikace do více tříd pomocí logistické regrese

• odvození funkcí sigmoid a softmax z principu maximální entropie

• klasifikace pomocí vícevrstevného perceptronu (MLP)

• naivní Bayesův klasifikátor

• binární klasifikátory založené na principu maximum margin

• metoda podpůrných vektorů (SVM)

Reprezentace textu pro strojové učení

• TF-DF

• Slovní vektory (embeddings)

Rozhodovací stromy

• klasifikační a regresní stromy (CART)

• náhodné lesy

• gradient boosting decision trees (GBDT)

Shluková analýza

• K-Means algoritmus

Redukce dimenzionality

• singular value decomposition

• analýza hlavních komponent

Trénování

• příprava dat, volba klasifikačních rysů

• konstrukce ztrátových funkcí pomocí metody maximální věrohodnosti

• gradientní metody prvního řádu (SGD) a metody druhého řádu

• regularizace

Statistické testování

• Studentův t-test

• Chí-kvadrát test

• korelační koeficienty

• párový bootstrap test

Využívané knihovny jazyka Python

• numpy (reprezentace n-rozměrných polí a práce s nimi)

• scikit-learn (konstrukce modelů strojového učení)

• matplotlib (vizualizace)

Tento předmět je také součástí meziuniverzitního programu prg.ai Minor. Ten spojuje to nejlepší z výuky AI v Praze s cílem poskytnout studujícím hlubší a širší vhled do oboru umělé inteligence. Více informací je k dispozici na webu prg.ai/minor.

Basic machine learning concepts

• supervised learning, unsupervised learning, reinforcement learning

• fitting, generalization, overfitting, regularization

• data generating distribution, train/development/test set

Linear regression

• analytical solution

• a solution based on stochastic gradient descent (SGD)

Classification

• binary classification via perceptron

• binary classification using logistic regression

• multiclass classification using logistic regression

• deriving sigmoid and softmax functions from the maximum entropy principle

• classification with a multilayer perceptron (MLP)

• naive Bayes classifier

• maximum margin binary classifiers

• Support vector machines (SVM)

Text representation

• TF-IDF

• Word embeddings

Decision trees

• classification and regression trees (CART)

• random forests

• gradient boosting decision trees (GBDT)

Clustering

• K-Means algorithm

Dimensionality reduction

• singular value decomposition

• principal component analysis (PCA)

Training

• dataset preparation, classification features design

• constructing loss functions according to the maximum likelihood estimation principle

• first-order gradient methods (SGD) and second-order methods

• regularization

Statistical testing

• Student t-test

• Chi-squared test

• correlation coefficients

• paired bootstrap test

Used Python libraries

• numpy (n-dimensional array representation and their manipulation)

• scikit-learn (construction of machine learning pipelines)

• matplotlib (visualization)

This course is also part of the inter-university programme prg.ai Minor. It pools the best of AI education in Prague to provide students with a deeper and broader insight into the field of artificial intelligence. More information is available at prg.ai/minor.

Je vyžadována základní znalost programování v jazyce Python a základní znalost diferenciálního počtu a lineární algebry (práce s vektory a maticemi). Znalost základů pravděpodobnosti a statistiky je doporučená.

Basic programming skills in Python and basic knowledge of differential calculus and linear algebra (working with vectors and matrices) are required; knowledge of probability and statistics is recommended.