Webové rozhraní pro hodnocení kvality strojového překladu (HMEANT)
| Thesis title in Czech: | Webové rozhraní pro hodnocení kvality strojového překladu (HMEANT) |
|---|---|
| Thesis title in English: | Web Interface for Machine Translation Evaluation (HMEANT) |
| Academic year of topic announcement: | 2012/2013 |
| Thesis type: | school year task |
| Thesis language: | |
| Department: | Institute of Formal and Applied Linguistics (32-UFAL) |
| Supervisor: | doc. RNDr. Ondřej Bojar, Ph.D. |
| Author: |
| Guidelines |
| Pro vývoj systémů strojového překladu je zásadní mít možnost měřit zlepšení kvality. K tomu lze použít buď metody automatické, které však typicky výrazně zohledňují jen určitý aspekt kvality a zejména oceňují podobnost referenčnímu překladu, nebo je možné požádat o hodnocení kvality lidské hodnotitele. Zkušenosti posledních let však ukazují, že i lidská hodnocení jsou často problematická: když tutéž větu hodnotí více lidí, velmi často se na hodnocení neshodnou. Z tohoto důvodu je stále velký zájem o úpravy metodiky lidského hodnocení tak, aby bylo dosaženo vyšší mezianotátorské shody. Rychlost ruční anotace je však také velmi podstatným aspektem.
Úkolem ročníkového projektu je implementovat webové anotační rozhraní pro jednu ze studovaných metrik, konkrétně metodu HMEANT (viz seznam literatury) i navazující kód, který sebraná hodnocení interpretuje. Autoři metody HMEANT již dříve webové rozhraní připravili, má však celou řadu omezení a následné pokusy s češtinou jako cílovým jazykem odhalily řadu potřebných úprav. Nové rozhraní musí tyto poznatky zohlednit. Na projekt lze velmi dobře navázat bakalářskou prací, která experimentálně ověří použitelnost anotačního rozhraní i způsobu vyhodnocování získaných anotací. |
| References |
| Ondřej Bojar and Dekai Wu. Towards a Predicate-Argument Evaluation for MT. In Proceedings of Sixth Workshop on Syntax, Semantics and Structure in Statistical Translation (SSST-6), ACL, July 2012.
http://ufal.mff.cuni.cz/~bojar/publications/2012-FILE-bojar_wu_ssst_2012-CAMERA_READY.pdf Chi-kiu LO and Dekai WU. "SMT vs. AI redux: How semantic frames evaluate MT more accurately". 22nd International Joint Conference on Artificial Intelligence (IJCAI-11). Barcelona: Jul 2011. http://www.cs.ust.hk/~dekai/library/WU_Dekai/LoWu_Ijcai2011.pdf Chi-kiu LO and Dekai WU. "MEANT: An inexpensive, high-accuracy, semi-automatic metric for evaluating translation utility via semantic frames". 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies (ACL HLT 2011). Portland, Oregon: Jun 2011. http://www.cs.ust.hk/~dekai/library/WU_Dekai/LoWu_Acl2011.pdf Ondřej Bojar, Miloš Ercegovčević, Martin Popel, and Omar Zaidan. A Grain of Salt for the WMT Manual Evaluation. In Proceedings of the Sixth Workshop on Statistical Machine Translation, pages 1-11, Edinburgh, Scotland, July 2011. Association for Computational Linguistics. http://ufal.mff.cuni.cz/~bojar/publications/2011-FILE-bojar-EtAl_2011_WMT-CAMERA_READY.pdf Chris Callison-Burch, Philipp Koehn, Christof Monz, Matt Post, Radu Soricut, and Lucia Specia. Findings of the 2012 Workshop on Statistical Machine Translation. 2012. In Proceedings of WMT12. http://www.cs.jhu.edu/~ccb/publications/findings-of-the-wmt12-shared-tasks.pdf |