PředmětyPředměty(verze: 953)
Předmět, akademický rok 2023/2024
   Přihlásit přes CAS
Využití velkých jazykových modelů - AMLV00081
Anglický název: Utilizing large language models
Zajišťuje: Ústav českého národního korpusu (21-UCNK)
Fakulta: Filozofická fakulta
Platnost: od 2023 do 2023
Semestr: oba
Body: 3
E-Kredity: 3
Způsob provedení zkoušky:
Rozsah, examinace: 0/2, Z [HT]
Počet míst: zimní:neurčen / 10 (10)
letní:neurčen / neurčen (10)
Minimální obsazenost: neomezen
4EU+: ne
Virtuální mobilita / počet míst pro virtuální mobilitu: ne
Kompetence:  
Stav předmětu: vyučován
Jazyk výuky: čeština
Způsob výuky: prezenční
Způsob výuky: prezenční
Úroveň:  
Poznámka: předmět je možno zapsat mimo plán
povolen pro zápis po webu
předmět lze zapsat v ZS i LS
Garant: PhDr. Jiří Milička, Ph.D.
Vyučující: PhDr. Jiří Milička, Ph.D.
Anotace -
V této chvíli je člověk v synergii se strojem v drtivé většině kreativních činností pořád ještě lepší než samotný stroj. Má tedy smysl, se v této synergii zdokonalovat. Tento seminář se zaměří na velké jazykové modely (large language models, LLMs), které se vynořily na sklonku desátých let, získaly popularitu s příchodem Chat GPT, a pravděpodobně nás už neopustí.<br>
<br>
Strukturu semináře budeme vytvářet společně na místě a jelikož netuším, jaká témata vás zaujmou a jaké nástroje stihnou během semestru vyjít, multiverzum možných sylabů je příliš široké, než aby jej zde bylo možno popsat.<br>
Pravděpodobně začneme tím, jak vlastně jazykové modely obecně fungují a jak fungují transformery (architektura, na které jsou postavené), jak jsou základní modely dále upravované, co je finetuning, RLHF a podobně.<br>
<br>
Ale pak už se vrhneme do víru praktických ukázek, jak s modely efektivně pracovat. <br>
Jak najít správné simulakrum a vytvořit mu správné prostředí.<br>
Jak ono simulakrum donutit, aby fungovalo konzistentně na široké škále různých úkolů.<br>
Antropomorfizace a démonomorfizace<br>
Užitečné memy<br>
Gaslighting a další manipulativní techniky "prompt inženýringu"<br>
Prompt injecting, jailbreaking, Waluigi effect<br>
Etika a notkilleveryoneism<br>
pluginy pro ChatGPT<br>
<br>
Možná na tenhle seminář budeme vzpomínat s lehkou ironií, podobně jako lidé, kteří se v roce 2003 účastnili seminářů typu "Jak správně používat Google", ale tak nějak doufám, že na něj vzpomínat budeme.
Poslední úprava: Milička Jiří, PhDr., Ph.D. (26.10.2023)
Podmínky zakončení předmětu -

Aktivita na hodinách, plnění domácích úkolů (obvykle půjde o to rozmyslet si věci, na kterých budeme pracovat další hodinu), na konci semestru pak zpracování promptu, který řeší něco zajímavého a netriviálního.

Poslední úprava: Milička Jiří, PhDr., Ph.D. (12.08.2023)
Literatura -

Wolfram, S. (2023). What Is ChatGPT Doing … and Why Does It Work? https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/

Články na arXivu:

Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang, & Soheil Feizi. (2023). Can AI-Generated Text be Reliably Detected?.

Jennifer Haase, & Paul H. P. Hanel. (2023). Artificial muses: Generative Artificial Intelligence Chatbots Have Risen to Human-Level Creativity.

Viet Dac Lai, Nghia Trung Ngo, Amir Pouran Ben Veyseh, Hieu Man, Franck Dernoncourt, Trung Bui, & Thien Huu Nguyen. (2023). ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning.

Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, Yin Tat Lee, Yuanzhi Li, Scott Lundberg, Harsha Nori, Hamid Palangi, Marco Tulio Ribeiro, & Yi Zhang. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4.

Yao Fu, Hao Peng, Ashish Sabharwal, Peter Clark, & Tushar Khot. (2023). Complexity-Based Prompting for Multi-Step Reasoning.

Vzhledem k rychlosti změn se značná část diskurzu ohledně využití LLMs odehrává na Twitteru, doporučuji profily
@goodside, @gwern, @repligate @anthrupad, @tszzl, @nearcyan, @yacineMTB, @sama, @ilyasut, @ykilcher, @SchmidhuberAI, @fchollet, @ylecun, @MParakhin @geoffreyhinton,@robertskmiles, @DanHendrycks, @marek_rosa, @josefslerka

Poslední úprava: Milička Jiří, PhDr., Ph.D. (12.08.2023)
Vstupní požadavky -

Předmět je určen studentům lingvistiky a filologických oborů se zájmem o lingvistiku. Konkrétní prerekvizity nejsou.

Poslední úprava: Milička Jiří, PhDr., Ph.D. (12.08.2023)
 
Univerzita Karlova | Informační systém UK