PředmětyPředměty(verze: 964)
Předmět, akademický rok 2024/2025
   Přihlásit přes CAS
Velké jazykové modely - NPFL140
Anglický název: Large Language Models
Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
Fakulta: Matematicko-fyzikální fakulta
Platnost: od 2023
Semestr: letní
E-Kredity: 3
Rozsah, examinace: letní s.:0/2, Z [HT]
Počet míst: neomezen
Minimální obsazenost: neomezen
4EU+: ne
Virtuální mobilita / počet míst pro virtuální mobilitu: ne
Stav předmětu: vyučován
Jazyk výuky: angličtina
Způsob výuky: prezenční
Garant: Mgr. Jindřich Helcl, Ph.D.
Mgr. Jindřich Libovický, Ph.D.
Vyučující: Mgr. et Mgr. Ondřej Dušek, Ph.D.
Mgr. Jindřich Helcl, Ph.D.
Ing. Zdeněk Kasner, Ph.D.
Mgr. Jindřich Libovický, Ph.D.
Mgr. Dominik Macháček, Ph.D.
Mgr. Tomáš Musil
Mgr. Michal Novák, Ph.D.
Mgr. Peter Polák
Mgr. Rudolf Rosa, Ph.D.
Anotace -
Předmět se věnuje velkým neuronovým jazykovým modelům. Pokrývá související teoretické koncepty, technické základy fungování a využití jazykových modelů.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (12.05.2023)
Cíl předmětu -

Představit fungování velkých neuronových jazykových modelů: jejich

základní typologii, jakým způsobem se trénují, jakým způsobem se

používají, jejich aplikační potenciál a společenské důsledky. Absolventi

předmětu by měli být schopni využívat velké jazykové modely při řešení

úloh a kvalifikovaně posoudit rizika spojená s využíváním této technologie.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (12.05.2023)
Podmínky zakončení předmětu -

práce na projektu, aktivní účast, závěrečný test

Poslední úprava: Libovický Jindřich, Mgr., Ph.D. (15.01.2025)
Literatura -
VASWANI, Ashish, et al. Attention is all you need. Advances in neural
information processing systems, 2017, 30.

DEVLIN, Jacob; CHANG, Ming-Wei; KENTON, Lee; TOUTANOVA, Kristina.
BERT: Pre-training of Deep Bidirectional Transformers for Language

Understanding. In: Proceedings of NAACL-HLT. 2019. p. 4171-4186.

RADFORD, Alec, et al. Language models are unsupervised multitask
learners. OpenAI blog, 2019, 1.8: 9.

BROWN, Tom, et al. Language models are few-shot learners. Advances in
neural information processing systems, 2020, 33: 1877-1901

RAFFEL, Colin, et al. Exploring the limits of transfer learning with a
unified text-to-text transformer. The Journal of Machine Learning

Research, 2020, 21.1: 5485-5551.

ROGERS, Anna; KOVALEVA, Olga; RUMSHISKY, Anna. A primer in BERTology:
What we know about how BERT works. Transactions of the Association for

Computational Linguistics, 2021, 8: 842-866.

CONNEAU, Alexis, et al. Unsupervised Cross-lingual Representation
Learning at Scale. In: Proceedings of the 58th Annual Meeting of the

Association for Computational Linguistics. 2020. p. 8440-8451.

XUE, Linting, et al. mT5: A Massively Multilingual Pre-trained
Text-to-Text Transformer. In: Proceedings of the 2021 Conference of the

North American Chapter of the Association for Computational Linguistics:

Human Language Technologies. 2021. p. 483-498.

RADFORD, Alec, et al. Learning transferable visual models from natural
language supervision. In: International conference on machine learning.

PMLR, 2021. p. 8748-8763.

OUYANG, Long, et al. Training language models to follow instructions
with human feedback. Advances in Neural Information Processing Systems,

2022, 35: 27730-27744.

TOUVRON, Hugo, et al. Llama: Open and efficient foundation language
models. arXiv preprint arXiv:2302.13971, 2023.

Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (12.05.2023)
Sylabus -
Základy neuronových sítí pro modelování jazyka
Typologie jazykových modelů [2]
Získávání a správa dat, navazující úlohy
Trénování (samoučení, zpětnovazební učení s využítím lidských anotací)
Dolaďování a odvozování
Vícejazyčnost a mezijazykový přenos
Aplikace velkých jazykových modelů (např. konverzační systémy, robotika, generování kódu) [2-3].
Multimodalita (CLIP, difuzní modely)
Společenské dopady
Interpretabilita
Poslední úprava: Libovický Jindřich, Mgr., Ph.D. (29.04.2024)
 
Univerzita Karlova | Informační systém UK