velikost textu

Multimodality in Machine Translation

Upozornění: Informace získané z popisných dat či souborů uložených v Repozitáři závěrečných prací nemohou být použity k výdělečným účelům nebo vydávány za studijní, vědeckou nebo jinou tvůrčí činnost jiné osoby než autora.
Název:
Multimodality in Machine Translation
Název v češtině:
Multimodalita ve strojovém překladu
Typ:
Disertační práce
Autor:
Mgr. Jindřich Libovický
Školitel:
RNDr. Pavel Pecina, Ph.D.
Oponenti:
Lucia Specia
Jan Čech
Id práce:
136289
Fakulta:
Matematicko-fyzikální fakulta (MFF)
Pracoviště:
Ústav formální a aplikované lingvistiky (32-UFAL)
Program studia:
Informatika (P1801)
Obor studia:
Matematická lingvistika (4I3)
Přidělovaný titul:
Ph.D.
Datum obhajoby:
13. 6. 2019
Výsledek obhajoby:
Prospěl/a
Jazyk práce:
Angličtina
Klíčová slova:
multimodal machine translation, neural machine translation, combining language and vision, deep learning
Klíčová slova v angličtině:
multimodální strojový překlad, neuronový strojový překlad, kombinování zpracování jazyka a obrazu, hluboké učení
Abstrakt:
Multimodalita ve strojovém překladu Jindřich Libovický Tradičně se většina úloh zpracování přirozeného jazyka řeší výhradně uvnitř jazyka, kdy modely spoléhají na distribuční vlastnosti slov. Hluboké učení se svojí schopností učit se vhodné reprezentace vstupních dat umožňuje využití více informací tím, že trénovací signál nepochází pouze z jazyka, ale o i z obrazové modality. Jednou z úloh, které se pokoušejí využít vizuální informace, je multimodální strojový překlad: překlad popisků obrázků, kdy je stále k dispozici původní obrázek, který lze využít jako vstup pro překladač. Tato práce shrnuje metody společného zpracovávání jazykových dat a fotografií s využitím hlubokého učení. Uvádíme přehled metod, které se využívají k řešení multimodálního strojového překladu a popisujeme náš původní příspěvek k řešení této úlohy. Představujeme metody kombinování více vstupů z potenciálně různých modalit v modelech sekvenčního učení založených na rekurentních neuronových sítích a neuronových sítí s mechanismem sebepozornosti. Uvádíme výsledky, kterých jsme dosáhli při řešení multimodálního strojového překladu a dalších úloh souvisejících se strojovým překladem. Na závěr analyzujeme, jak multimodalita ovlivňuje sémantické vlastnosti větných reprezentací, které v sítích vznikají, a jak sémantické vlastnosti reprezentací souvisí s kvalitou překladu.
Abstract v angličtině:
Multimodality in Machine Translation Jindřich Libovický Traditionally, most natural language processing tasks are solved within the lan- guage, relying on distributional properties of words. Representation learning abilities of deep learning recently allowed using additional information source by grounding the representations in the visual modality. One of the tasks that attempt to exploit the visual information is multimodal machine translation: translation of image captions when having access to the original image. The thesis summarizes joint processing of language and real-world images using deep learning. It gives an overview of the state of the art in multimodal machine translation and describes our original contribution to solving this task. We introduce methods of combining multiple inputs of possibly different modalities in recurrent and self-attentive sequence-to-sequence models and show results on multimodal machine translation and other tasks related to machine translation. Finally, we analyze how the multimodality influences the semantic properties of the sentence representation learned by the networks and how that relates to translation quality.
Dokumenty
Stáhnout Dokument Autor Typ Velikost
Stáhnout Text práce Mgr. Jindřich Libovický 2.65 MB
Stáhnout Abstrakt v českém jazyce Mgr. Jindřich Libovický 24 kB
Stáhnout Abstrakt anglicky Mgr. Jindřich Libovický 24 kB
Stáhnout Posudek vedoucího RNDr. Pavel Pecina, Ph.D. 69 kB
Stáhnout Posudek oponenta Lucia Specia 109 kB
Stáhnout Posudek oponenta Jan Čech 90 kB
Stáhnout Záznam o průběhu obhajoby doc. Ing. Zdeněk Žabokrtský, Ph.D. 156 kB