Algoritmy založené na stochastickém gradientu pro úlohy strojového učení
| Thesis title in Czech: | Algoritmy založené na stochastickém gradientu pro úlohy strojového učení |
|---|---|
| Thesis title in English: | Algorithms based on stochastic gradient descent for machine learning problems |
| Academic year of topic announcement: | 2023/2024 |
| Thesis type: | diploma thesis |
| Thesis language: | |
| Department: | Department of Probability and Mathematical Statistics (32-KPMS) |
| Supervisor: | doc. RNDr. Martin Branda, Ph.D. |
| Author: | hidden - assigned and confirmed by the Study Dept. |
| Date of registration: | 14.03.2024 |
| Date of assignment: | 14.03.2024 |
| Confirmed by Study dept. on: | 14.03.2024 |
| Guidelines |
| Diplomant(-ka) se bude zabývat algoritmy založenými na stochastické gradientu, které vhodným způsobem aproximují gradient účelové funkce. Popíše základních principy těchto metod včetně předpokladů a kritérií pro konvergenci. Dále budou diskutována možná porušení těchto předpokladů, například nestrannosti odhadu gradientu. Součástí práce bude i numerická studie, kde budou představené postupy využity ve vybrané úloze strojového učení a aplikovány na vhodná data. |
| References |
| L. Bottou, F. Curtis, and J. Nocedal. Optimization methods for large-scale machine learning. SIAM Review, 60(2):223–311, 2018.
D. Driggs, J. Lian, C.-B. Schönlieb. On Biased Stochastic Gradient Estimation. Journal of Machine Learning Research 23, 1-43, 2022. S. Ghadimi, G. Lan, H. Zhang. Mini-batch stochastic approximation methods for nonconvex stochastic composite optimization. Mathematical Programming, Ser. A, 155, 267–305, 2016. |