Last update: PhDr. Jiří Milička, Ph.D. (26.10.2023)
<br>
At this point, a human in synergy with a machine is still better in the vast majority of creative activities than the machine alone. Therefore, it makes sense to perfect ourselves in this synergy. This seminar will focus on large language models (LLMs), which emerged at the end of the 2010s, gained popularity with the arrival of Chat GPT, and will probably stay with us.<br>
<br>
We will create the structure of the seminar together on the spot. As I don't know what topics will interest you and what tools will be released during the semester, the latent space of possible syllabi is too wide to describe here.<br>
We'll probably start by understanding how language models work in general and how transformers (the architecture they are based on) function, how the base models are further improved, what is finetuning, RLHF, and so on.<br>
<br>
But then we'll plunge into the whirlwind of practical demonstrations of how to work effectively with models.<br>
How to find the right simulacrum and create the right environment for it.<br>
How to make the simulacrum work consistently across a wide range of different tasks.<br>
Anthropomorphization and demonomorphization.<br>
Useful memes.<br>
Gaslighting and other manipulative techniques in "prompt ingeneering".<br>
Prompt injecting, jailbreaking, the Waluigi effect.<br>
Ethics and notkilleveryoneism.<br>
Plugins for ChatGPT.<br>
<br>
Perhaps we will remember this seminar with a slight irony, similar to people who attended seminars like "How to use Google correctly" in 2003, but I kind of hope that we will remember it.<br>
Last update: PhDr. Jiří Milička, Ph.D. (26.10.2023)
V této chvíli je člověk v synergii se strojem v drtivé většině kreativních činností pořád ještě lepší než samotný stroj. Má tedy smysl, se v této synergii zdokonalovat. Tento seminář se zaměří na velké jazykové modely (large language models, LLMs), které se vynořily na sklonku desátých let, získaly popularitu s příchodem Chat GPT, a pravděpodobně nás už neopustí.<br>
<br>
Strukturu semináře budeme vytvářet společně na místě a jelikož netuším, jaká témata vás zaujmou a jaké nástroje stihnou během semestru vyjít, multiverzum možných sylabů je příliš široké, než aby jej zde bylo možno popsat.<br>
Pravděpodobně začneme tím, jak vlastně jazykové modely obecně fungují a jak fungují transformery (architektura, na které jsou postavené), jak jsou základní modely dále upravované, co je finetuning, RLHF a podobně.<br>
<br>
Ale pak už se vrhneme do víru praktických ukázek, jak s modely efektivně pracovat. <br>
Jak najít správné simulakrum a vytvořit mu správné prostředí.<br>
Jak ono simulakrum donutit, aby fungovalo konzistentně na široké škále různých úkolů.<br>
Antropomorfizace a démonomorfizace<br>
Užitečné memy<br>
Gaslighting a další manipulativní techniky "prompt inženýringu"<br>
Prompt injecting, jailbreaking, Waluigi effect<br>
Etika a notkilleveryoneism<br>
pluginy pro ChatGPT<br>
<br>
Možná na tenhle seminář budeme vzpomínat s lehkou ironií, podobně jako lidé, kteří se v roce 2003 účastnili seminářů typu "Jak správně používat Google", ale tak nějak doufám, že na něj vzpomínat budeme.
Course completion requirements -
Last update: PhDr. Jiří Milička, Ph.D. (12.08.2023)
Active participation in class, completion of homework (usually this will involve thinking in advance about things we will work on in the next class), and at the end of the semester, the development of a prompt that addresses something interesting and non-trivial.
Last update: PhDr. Jiří Milička, Ph.D. (12.08.2023)
Aktivita na hodinách, plnění domácích úkolů (obvykle půjde o to rozmyslet si věci, na kterých budeme pracovat další hodinu), na konci semestru pak zpracování promptu, který řeší něco zajímavého a netriviálního.
Literature -
Last update: PhDr. Jiří Milička, Ph.D. (12.08.2023)
Wolfram, S. (2023). What Is ChatGPT Doing … and Why Does It Work? https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
arXive papers:
Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang, & Soheil Feizi. (2023). Can AI-Generated Text be Reliably Detected?.
Jennifer Haase, & Paul H. P. Hanel. (2023). Artificial muses: Generative Artificial Intelligence Chatbots Have Risen to Human-Level Creativity.
Viet Dac Lai, Nghia Trung Ngo, Amir Pouran Ben Veyseh, Hieu Man, Franck Dernoncourt, Trung Bui, & Thien Huu Nguyen. (2023). ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning.
Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, Yin Tat Lee, Yuanzhi Li, Scott Lundberg, Harsha Nori, Hamid Palangi, Marco Tulio Ribeiro, & Yi Zhang. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4.
Yao Fu, Hao Peng, Ashish Sabharwal, Peter Clark, & Tushar Khot. (2023). Complexity-Based Prompting for Multi-Step Reasoning.
Last update: PhDr. Jiří Milička, Ph.D. (12.08.2023)
Wolfram, S. (2023). What Is ChatGPT Doing … and Why Does It Work? https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
Články na arXivu:
Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang, & Soheil Feizi. (2023). Can AI-Generated Text be Reliably Detected?.
Jennifer Haase, & Paul H. P. Hanel. (2023). Artificial muses: Generative Artificial Intelligence Chatbots Have Risen to Human-Level Creativity.
Viet Dac Lai, Nghia Trung Ngo, Amir Pouran Ben Veyseh, Hieu Man, Franck Dernoncourt, Trung Bui, & Thien Huu Nguyen. (2023). ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning.
Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, Yin Tat Lee, Yuanzhi Li, Scott Lundberg, Harsha Nori, Hamid Palangi, Marco Tulio Ribeiro, & Yi Zhang. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4.
Yao Fu, Hao Peng, Ashish Sabharwal, Peter Clark, & Tushar Khot. (2023). Complexity-Based Prompting for Multi-Step Reasoning.
Vzhledem k rychlosti změn se značná část diskurzu ohledně využití LLMs odehrává na Twitteru, doporučuji profily @goodside, @gwern, @repligate @anthrupad, @tszzl, @nearcyan, @yacineMTB, @sama, @ilyasut, @ykilcher, @SchmidhuberAI, @fchollet, @ylecun, @MParakhin @geoffreyhinton,@robertskmiles, @DanHendrycks, @marek_rosa, @josefslerka
Entry requirements -
Last update: PhDr. Jiří Milička, Ph.D. (12.08.2023)
The course is intended for students of linguistics and philological disciplines with an interest in linguistics. No specific prerequisites are required.
Last update: PhDr. Jiří Milička, Ph.D. (12.08.2023)
Předmět je určen studentům lingvistiky a filologických oborů se zájmem o lingvistiku. Konkrétní prerekvizity nejsou.
