Interpretace natrénovaných modelů hlubokých neuronových sítí

• Název práce v češtině: Interpretace natrénovaných modelů hlubokých neuronových sítí
• Název v anglickém jazyce: Intepretation of trained deep neural network models
• Klíčová slova: neuronové sítě, interpretabilita, zpracování přirozeného jazyka
• Klíčová slova anglicky: neural networks, interpretability, natural language processing
• Akademický rok vypsání: 2022/2023
• Typ práce: diplomová práce
• Ústav: Ústav formální a aplikované lingvistiky (32-UFAL)
• Vedoucí / školitel: Mgr. Rudolf Rosa, Ph.D.
• Konzultanti: RNDr. David Mareček, Ph.D.

Zásady pro vypracování

Trained deep neural network models achieve marvelous results for many tasks. However, the models are hard to interpret, it is difficult to determine why the system produces a specific output for a given input, as well as to understand how the input processing and decision making in the network works in general.

The goal of the thesis is to investigate latent structures and abstractions emerging in the training of deep neural networks, especially on text processing tasks, and try to interpret them and understand them. This could help us when tuning DNN-based systems, as well as reveal something about language itself.

This is a very active research field, with new results published every month. Therefore, the actual focus of the work will be specified in cooperation with the student, based on the current state of the art.

======

Natrénované modely hlubokých neuronových sítí dosahují skvělých výsledků pro mnoho úloh. Modely jsou ale těžko interpretovatelné, je obtížné určit, proč pro daný vstup vydal systém konkrétní výstup, i obecně jak síť zpracovává vstupy a jak provádí rozhodnutí (narozdíl například od rozhodovacích stromů, kde je toto zcela zřejmé).

Cílem práce je zkoumat struktury a abstrakce vznikající během trénování hlubokých neuronových sítí, zejména na úlohách práce s textem, a pokusit se je interpretovat a prozumět jim. To nám může pomoci při ladění systémů založených na hlubokých neuronových sítích, a také odhalit něco o fungování jazyka jako takového.

Jedná se o velmi aktivní oblast výzkumu, kde každý měsíc přibývají nové výsledky. Konkrétní zaměření práce proto bude dospecifikováno ve spolupráci se studentem na základě aktuálního stavu poznání.

Seznam odborné literatury

Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP
https://www.aclweb.org/anthology/volumes/W19-48/

Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP
https://www.aclweb.org/anthology/W18-5400

Předběžná náplň práce

Znají neuronky natrénované na textech slovní druhy? (Ano, a to i když jim o nich nic neřekneme!)
Jaké slovní druhy neuronky interně používají? (Nevíme!)
Zachycují neuronky podobnost mezi obrázkem a jeho slovním popisem? (Nevíme, ale mohli bychom to zkusit zjistit!)
Znají neuronky větnou skladbu? (Ano, ale nevíme jakou!)
Rozumějí neuronky významu vět? (Nevíme, a nevíme jak to zjsitit!)

Předběžná náplň práce v anglickém jazyce

Do neural networks trained on texts know parts of speech? (Yes, even if we tell them nothing about them!)
What kind of parts of speech do neural networks internally use? (We don't know!)
Do neural networks capture a relation between an image and its text description? (We don't know, but we could try to figure this out!)
Do neural networks know syntax? (Yes, but we don't know what it's like!)
Do neural netwroks understand the meaning of a sentence? (We don't know, and we don't know how to find out!)