velikost textu

Exploring Benefits of Transfer Learning in Neural Machine Translation

Upozornění: Informace získané z popisných dat či souborů uložených v Repozitáři závěrečných prací nemohou být použity k výdělečným účelům nebo vydávány za studijní, vědeckou nebo jinou tvůrčí činnost jiné osoby než autora.
Název:
Exploring Benefits of Transfer Learning in Neural Machine Translation
Název v češtině:
Zkoumání výhod přenosu znalostí v neuronovém strojovém překladu
Typ:
Disertační práce
Autor:
Ing. Tom Kocmi, Ph.D.
Školitel:
RNDr. Ondřej Bojar, Ph.D.
Oponenti:
Josef van Genabith
RNDr. Jan Cuřín, Ph.D.
Id práce:
164622
Fakulta:
Matematicko-fyzikální fakulta (MFF)
Pracoviště:
Ústav formální a aplikované lingvistiky (32-UFAL)
Program studia:
Informatika (P1801)
Obor studia:
Matematická lingvistika (4I3)
Přidělovaný titul:
Ph.D.
Datum obhajoby:
5. 12. 2019
Výsledek obhajoby:
Prospěl/a
Jazyk práce:
Angličtina
Klíčová slova:
transfer znalostí, strojový překlad, hluboké neuronové sítě, jazyky s málo zdroji
Klíčová slova v angličtině:
transfer learning, machine translation, deep neural networks, low-resource languages
Abstrakt:
Název práce: Zkoumání výhod přenosu znalostí v neuronovém strojovém překladu Autor: Tom Kocmi Ústav: Ústav formální a aplikované lingvistiky Vedoucí disertační práce: doc. RNDr. Ondřej Bojar, Ph.D., Ústav formální a aplikované lingvistiky Klíčová slova: transfer znalostí, strojový překlad, hluboké neuronové sítě, jazyky s málo zdroji Abstrakt: Je známo, že neuronový strojový překlad vyžaduje velké množství paralelních trénovacích vět, které obecně brání tomu, aby vynikal na párech jazyků s ne- dostatečným množstvím zdrojů. Tato práe se zabývá využitím translingválního učení na neuronových sítích jako způsobu řešení problému nedostatku zdrojů. Navrhujeme několik přístupů k transferu znalostí za účelem opětovného využití modelu předtrénovaného na jiné jazykové dvojici s velkým množstvím zdrojů. Zvláštní pozornost věnujeme jednoduchosti technik. Studujeme dva scénáře: a) když používáme předtrénovaný model bez jakýchkoli předchozích úprav jeho trénovacího procesu a b) když můžeme předem připravit prvostupňový model pro transfer znalostí pro potřeby dítěte. Pro první scénář představujeme metodu opětovného využití modelu předtrénovaného jinými výzkumníky. V druhém případě předkládáme metodu, která dosáhne ještě většího zlepšení. Kromě navrhovaných technik se zaměřujeme na hloubkovou analýzu technik transferu znalostí a snažíme se vnést trochu světla do pochopení transferového učení. Ukazujeme, jak naše techniky řeší specifické problémy jazyků s málo daty a že jsou vhodné i pro jazykové páry s velkým množstvím dat. Poten- ciální nevýhody a chování hodnotíme studiem transferového učení v různých situacích, například pod uměle poškozeným trénovacím korpusem, nebo se zafixovanými částmi modelu. vii
Abstract v angličtině:
Title: Exploring Benefits of Transfer Learning in Neural Machine Translation Author: Tom Kocmi Department: Institute of Formal and Applied Linguistics Supervisor: doc. RNDr. Ondřej Bojar, Ph.D., Institute of Formal and Applied Linguistics Keywords: transfer learning, machine translation, deep neural networks, low-resource languages Abstract: Neural machine translation is known to require large numbers of parallel train- ing sentences, which generally prevent it from excelling on low-resource lan- guage pairs. This thesis explores the use of cross-lingual transfer learning on neural networks as a way of solving the problem with the lack of resources. We propose several transfer learning approaches to reuse a model pretrained on a high-resource language pair. We pay particular attention to the simplicity of the techniques. We study two scenarios: (a) when we reuse the high-resource model without any prior modifications to its training process and (b) when we can prepare the first-stage high-resource model for transfer learning in advance. For the former scenario, we present a proof-of-concept method by reusing a model trained by other researchers. In the latter scenario, we present a method which reaches even larger improvements in translation performance. Apart from proposed techniques, we focus on an in-depth analysis of transfer learning techniques and try to shed some light on transfer learning improvements. We show how our techniques address specific problems of low-resource languages and are suitable even in high-resource transfer learning. We evaluate the poten- tial drawbacks and behavior by studying transfer learning in various situations, for example, under artificially damaged training corpora, or with fixed various model parts. v
Dokumenty
Stáhnout Dokument Autor Typ Velikost
Stáhnout Text práce Ing. Tom Kocmi, Ph.D. 2.46 MB
Stáhnout Abstrakt v českém jazyce Ing. Tom Kocmi, Ph.D. 134 kB
Stáhnout Abstrakt anglicky Ing. Tom Kocmi, Ph.D. 134 kB
Stáhnout Posudek vedoucího RNDr. Ondřej Bojar, Ph.D. 58 kB
Stáhnout Posudek oponenta Josef van Genabith 220 kB
Stáhnout Posudek oponenta RNDr. Jan Cuřín, Ph.D. 624 kB
Stáhnout Záznam o průběhu obhajoby doc. Ing. Zdeněk Žabokrtský, Ph.D. 153 kB