Nástroj pro porovnání a vyhodnocení strojového překladu

• Název práce v češtině: Nástroj pro porovnání a vyhodnocení strojového překladu
• Název v anglickém jazyce: Tool for comparison and evaluation of machine translation
• Klíčová slova: porovnání strojových překladů, vyhodnocování strojových překladačů, metriky strojových překladů
• Klíčová slova anglicky: machine translation comparison, machine translation evaluation, machine translation metrics
• Akademický rok vypsání: 2011/2012
• Typ práce: bakalářská práce
• Jazyk práce: čeština
• Ústav: Ústav formální a aplikované lingvistiky (32-UFAL)
• Vedoucí / školitel: Mgr. Martin Popel, Ph.D.
• Řešitel: skrytý - zadáno a potvrzeno stud. odd.
• Datum přihlášení: 08.11.2011
• Datum zadání: 08.11.2011
• Datum potvrzení stud. oddělením: 01.12.2011
• Datum a čas obhajoby: 20.06.2013 00:00
• Datum odevzdání elektronické podoby: 24.05.2013
• Datum odevzdání tištěné podoby: 24.05.2013
• Datum proběhlé obhajoby: 20.06.2013
• Oponenti: Mgr. Aleš Tamchyna, Ph.D.

Zásady pro vypracování

Při vývoji moderních překladových systémů je důležité sledovat kvalitu překladu, porovnávat různé verze jednoho systému i různé systémy mezi sebou. Cílem bakalářské práce je vytvořit nástroj s grafickým rozhraním, který by vývojářům překladových systémů pomáhal s vyhodnocováním a s hledáním jevů (vět), které daný systém překládá špatně.
Vstupem jsou věty v původním jazyce (např. v angličtině), referenční překlad (např. do češtiny) a dva či více automatických překladů (taktéž do češtiny). Výstupem by měly být různé statistiky a informace (zobrazitelné v textovém i grafickém režimu) o kvalitě jednotlivých automatických překladů a o tom, v čem se automatické překlady liší. Statistiky by byly jak na úrovni vět, tak na úrovni slovních n-gramů.

Seznam odborné literatury

Kishore Papineni and Salim Roukos and Todd Ward and Wei-Jing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. ACL 2002.

George Doddington. Automatic evaluation of machine translation quality using n-gram co-occurrence statistics. HLT 2002.

Philipp Koehn. Statistical Significance Tests for Machine Translation Evaluation. EMNLP 2004.

Ying Zhang, Stephan Vogel, Alex Waibel: Interpreting BLEU/NIST Scores: How Much Improvement Do We Need to Have a Better System? LREC 2004.

Nitin Madnani. iBLEU: Interactively Debugging & Scoring Statistical Machine Translation Systems. IEEE International Conference on Semantic Computing. 2011.