Seminář slouží jako veskrze praktické seznámení s počítačovou lingvistikou a s mechanismem shared tasků (sdílených
vědeckých úloh) jako zásadní metody pro zlepšování kvality a možná nejspolehlivějšího porovnávání různých přístupů
k vybraným úlohám počítačového zpracování přirozeného jazyka. Budeme společně vylepšovat existující nástroje a
systémy pro strojový překlad včetně překladu mluvené řeči, pro automatické hodnocení kvality překladu nebo obecně
výstupu velkých jazykových modelů (LLM), pro automatické vyznačování chyb a řadu dalších úloh, a zúčastníme se s
nimi vhodných shared tasků.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (29.05.2026)
The seminar serves as a practical introduction to computational linguistics and the concept of shared tasks as a key
method for improving quality and perhaps the most reliable way of comparing different approaches to selected natural
language processing tasks. We will work on improving existing tools and systems for machine translation, incl. speech
translation; for automatic evaluation of translation quality or, more generally, the output of large language models
(LLMs); for automatic error annotation; and for a range of other tasks, and we will participate with them in relevant
shared tasks.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (29.05.2026)
Podmínky zakončení předmětu -
Seminář NPFL101 je možné zapisovat opakovaně, tj. ve více různých letech.
Každý rok je klíčovým požadavkem, za nějž se uděluje zápočet, zaslání zprávy popisující projekt realizovaný pro seminář a prezentace vašeho postupu na projektu během semestru na semináři.
Zpráva by měla být dlouhá 2 až 4 strany a zahrnovat patřičný úvod (popis problematiky, k jejímuž řešení váš projekt přispívá), technické podrobnosti a rovněž i standardní závěr. Na projektu můžete pracovat samostatně nebo v malé skupince, podle dohody na semináři.
Nezřídka je výsledkem projektu i skutečná účast v nějakém shared tasku a článek popisující vaše řešení pro daný workshop nebo konferenci. V takovém případě již není nutné samostatnou zprávu psát.
Samotné odesílání zprávy je postupný proces: odešlete mi pracovní verzi, na základě níž typicky požádám o menší či větší revize. Proces opakujeme, dokud zpráva není dostatečně dobrá a ucelená. V tomto smyslu je tedy zpráva "odevzdávána" několikrát.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (29.05.2026)
You can enroll into the NPFL101 seminar repeatedly, i.e. in more than one year.
Every year, the key requirement, for which you will receive the credit, is to submit a report describing your project for the seminar and to present your project progress during the semester at one of the seminar sessions.
The report shall be at least 2-4 pages long and include proper introduction (the "big picture" of what your work is contributing to), technical details, as well as a standard conclusion. You can work on your project alone or in a small group, as agreed at the seminar.
Quite often, the project actually results in a submission to a shared task and the corresponding paper describing the submission for the respective workshop or conference. In such a case, there is no need to write a separate report for the seminar.
The submission of the report is an iterative process, you send me a draft, and I will typically ask you for minor or greater revisions. We iterate, until the report is well written and rounded and I accept it. In this sense, the report can be "submitted" many times.
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (29.05.2026)
Literatura -
Ondřej Bojar, Christian Federmann, Barry Haddow, Philipp Koehn, Matt Post, Lucia Specia (2016): Ten Years of WMT Evaluation Campaigns: Lessons Learnt. In: Translation Evaluation: From Fragmented Tools and Data Sets to an Integrated Ecosystem, pp. 27-34, LREC, Portorož, Slovenia
Tom Kocmi, et al. (2025): Findings of the WMT25 Multilingual Instruction Shared Task: Persistent Hurdles in Reasoning, Generation, and Evaluation. In: Proceedings of the Tenth Conference on Machine Translation, pp. 414-435, Association for Computational Linguistics, Kerrville, TX, USA, ISBN 979-8-89176-341-8.
Philipp Koehn. Neural Machine Translation. Cambridge: Cambridge University Press, 2020.
http://mt-class.org/jhu/assets/nmt-book.pdf
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (29.05.2026)
Ondřej Bojar, Christian Federmann, Barry Haddow, Philipp Koehn, Matt Post, Lucia Specia (2016): Ten Years of WMT Evaluation Campaigns: Lessons Learnt. In: Translation Evaluation: From Fragmented Tools and Data Sets to an Integrated Ecosystem, pp. 27-34, LREC, Portorož, Slovenia
Tom Kocmi, et al. (2025): Findings of the WMT25 Multilingual Instruction Shared Task: Persistent Hurdles in Reasoning, Generation, and Evaluation. In: Proceedings of the Tenth Conference on Machine Translation, pp. 414-435, Association for Computational Linguistics, Kerrville, TX, USA, ISBN 979-8-89176-341-8.
Philipp Koehn. Neural Machine Translation. Cambridge: Cambridge University Press, 2020.
http://mt-class.org/jhu/assets/nmt-book.pdf
Poslední úprava: Mírovský Jiří, RNDr., Ph.D. (29.05.2026)
Sylabus -
Na semináři budeme vylepšovat systémy strojového překladu (zejm. překlad do češtiny) a účastnit se s nimi každoroční soutěže v překládání, http://www.statmt.org/wmt18/. S naším systémem se dlouhodobě umisťujeme na relativně dobrých pozicích, v letech 2013-2015 jsme vítězili mj. i nad Google Translate.
Statistický strojový překlad je úloha náročná zejména z hlediska objemu zpracovávaných dat. Zcela běžně se proto pracuje paralelně na desítkách počítačů a není problém na jeden experiment účelně využít 100 GB disku a 100 GB RAM, neuronový strojový překlad pak přidává výpočetní náročnost: vyžaduje GPU s minimálně 8 GB RAM a trénuje se klidně dny nebo týdny.
V maximální míře se opřeme o existující nástroje, které jsou implementovány ve směsici jazyků jako Python, C/C++, Perl, Bash, ad. Velmi často pak budeme výpočty paralelizovat na výpočetním clusteru katedry nebo MetaCentra, včetně výkonných grafických karet (GPU).
Během semestru budeme kolektivně vylepšovat volně šiřitelné implementace systémů strojového překladu. Zájemci o počítačové zpracování přirozeného jazyka nebo o hluboké učení se zaměří na analýzu nebo návrh triků a úprav modelů pro lepší kvalitu překladu, zájemci o softwarové inženýrství obecně se mohou soustředit na infrastrukturu experimentačního prostředí nebo optimalizaci existujících nástrojů.
Seminář předpokládá pouze středoškolské znalosti formálního popisu přirozených jazyků.
Seminář bude probíhat v unixové laboratoři.
Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (25.01.2018)
At the seminar, we will improve machine translation systems (especially translation into Czech) and take part in the annual translation competitions like http://www.statmt.org/wmt18/. Our machines systems have repeatedly achieved relatively good results, and we won in the three consecutive years of 2013-2015, beating Google Translate among others.
Statistical machine translation is a challenging task especially in terms of the volume of data processed. It is quite common to work in parallel on dozens of computers, and can easily need 100 GB of disk and 100 GB of RAM for a single experiment. Neural machine translation then requires GPUs with at least 8 GB of RAM and training for days or weeks.
We will rely on existing tools that are implemented in a mixture of languages such as Python, C/C++, Perl, Bash, and others. Very often, we will parallelize the calculations on the computing cluster of the department or MetaCentrum, including powerful graphics cards (GPUs).
During the semester, we will collectively improve open-source machine translation systems. People interested in natural language processing or deep learning will focus on analyzing or designing tricks and modifying models for better translation quality; general software engineers can focus on the infrastructure of the experimentation environment or the optimization of existing tools.
The seminar assumes only high school knowledge of the formal description of natural languages.
The seminar will take place at the Unix laboratory.
Poslední úprava: Vidová Hladká Barbora, doc. Mgr., Ph.D. (25.01.2018)
