Silence in dialogue
| Název práce v češtině: | Ticho v dialogu |
|---|---|
| Název v anglickém jazyce: | Silence in dialogue |
| Klíčová slova: | dialog|ticho|GPT-3|ladění|jazykové modely |
| Klíčová slova anglicky: | dialogue|silence|GPT-3|fine-tuning|language models |
| Akademický rok vypsání: | 2021/2022 |
| Typ práce: | diplomová práce |
| Jazyk práce: | angličtina |
| Ústav: | Katedra logiky (21-KLOG) |
| Vedoucí / školitel: | Raquel Fernandez Rovira, Ph.D. |
| Řešitel: | skrytý - zadáno a potvrzeno stud. odd. |
| Datum přihlášení: | 21.02.2022 |
| Datum zadání: | 21.02.2022 |
| Schválení administrátorem: | zatím neschvalováno |
| Datum potvrzení stud. oddělením: | 18.03.2022 |
| Datum a čas obhajoby: | 16.06.2023 09:00 |
| Datum odevzdání elektronické podoby: | 11.05.2023 |
| Datum proběhlé obhajoby: | 16.06.2023 |
| Odevzdaná/finalizovaná: | odevzdaná studentem a finalizovaná |
| Oponenti: | Mgr. et Mgr. Ondřej Dušek, Ph.D. |
| Zásady pro vypracování |
| Silence is an indispensable aspect of dialogue. This thesis examines silence in dialogue from a variety of perspectives. First, I provide a background on the historical development of theories of dialogue and the place of silence within them (1, 2). Second, I conduct a study of the capacity of one of the most prominent contemporary language models, called the GPT-3, to model silence in dialogue (3). I fine-tune the model on a dataset based on movie subtitle data. I evaluate its performance on its capacity to infer the length of silence between subtitle pairs. The experiment proposes a method of fine-tuning the language model via silence encoded as character strings. The results show that GPT-3 fine-tuning can indeed improve the model's performance by inferring silence gaps between subtitle turns. |
| Seznam odborné literatury |
| (1) Clark, Herbert H. Using language. Cambridge university press, 1996. (2) McTear, Michael. "Conversational AI: dialogue systems, conversational agents, and chatbots." Synthesis Lectures on Human Language Technologies 13.3 (2020): 1-251. (3) Brown, Tom, et al. "Language models are few-shot learners." Advances in neural information processing systems 33 (2020): 1877-1901. |