Jazykové technologie pro výzkum v humanitních oborech - NPFL131

• Anglický název: Language Technologies for Research in Humanities
• Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2022
• Semestr: letní
• E-Kredity: 2
• Rozsah, examinace: letní s.:0/2, Z [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: vyučován
• Jazyk výuky: čeština, angličtina
• Způsob výuky: prezenční
• Způsob výuky: prezenční
• Další informace: http://ufal.mff.cuni.cz/courses/npfl131
• Garant: Mgr. Pavel Straňák, Ph.D.
• Třída: Informatika Mgr. - volitelný
• Kategorizace předmětu: Informatika > Počítačová a formální lingvistika
• Neslučitelnost : NPFL098
• Záměnnost : NPFL098
• Je neslučitelnost pro: NPFL098
• Je záměnnost pro: NPFL098

Anotace

čeština

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (16.05.2022)

Posluchači se seznámí s efektivními nástroji a postupy pro automatické zpracování rozsáhlých textů v různých jazycích. Získané dovednosti usnadní samostatnou vědeckou práci v libovolném oboru, kde se používají rozsáhlá textová data i případné studium počítačové lingvistiky.

angličtina

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (16.05.2022)

You will learn to efficiently use tools and procedures for the automatic processing of large-scale texts in different languages. The skills acquired will facilitate independent scientific work with language dataq in any area of humanities.

Podmínky zakončení předmětu

čeština

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (16.05.2022)

Podmínkou získání zápočtu je aktivní účast na výuce, odevzdání všech domácích úkolů a získání >70% bodů z těchto úkolů.

angličtina

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (16.05.2022)

Ensuring a credit is conditional on active participation in teaching, handing over all homework and earning >70% of the points from these tasks.

Literatura

čeština

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (16.05.2022)

Prezentace z výuky: http://ufal.mff.cuni.cz/courses/NPFL131

Perl pro zelenáče – 3. vydání z https://knihy.nic.cz

Learning Perl, 8th Edition (nejméně 5th Edition)

Pro Git z https://knihy.nic.cz

Learning the bash Shell

Linux Pocket Guide

angličtina

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (16.05.2022)

presentations from the past: http://ufal.mff.cuni.cz/courses/NPFL131

Learning Perl, 8th Edition (use at least 5th Edition)

Pro Git

Learning the bash Shell

Linux Pocket Guide

Sylabus

čeština

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (16.05.2022)

Na ukázkových textech většího rozsahu si ukážeme základní metody zpracování textu potřebné pro získání netriviálních informací. Pro češtinu použijeme texty děl Karla Čapka, pro klasickou čínštinu vybrané texty z https://github.com/kanripo, pro další jazyky další díla dle zaměření frekventantů.

Význam a vlastnosti velkých dat

unixový shell; nejzákladnější příkazy

další unixové příkazy a základy Perlu pro manipulaci s texty

textové editory

kvantitativní analýza textu

porovnání textů a vizualizace rozdílů

vyhledávání pomocí regulárních výrazů

využití regulárních výrazů pro hromadné úpravy textu

odstranění diakritiky, segmentace na věty, tokenizace

získávání informací o čínských znacích z databáze Unihan

pravidlové automatické určení slovních druhů

vytvoření vlastního korpusu

"NLP workflow engines" - GATE, OpenNLP, Treex

volání REST API

UDPipe a výběr vhodného modelu, je-li jich pro jazyk více

vizualizace analýzy a výsledků

angličtina

Poslední úprava: RNDr. Jiří Mírovský, Ph.D. (16.05.2022)

Using large texts, we will learn the basic methods of text processing needed to obtain non-trivial information. For Czech we will use texts of works by Karel Čapek, for Classical Chinese selected texts from https://github.com/kanripo, for other languages works according to the focus of the students.

importance and statistical properties of Big Data

unix shell; most basic commands

more unix commands and basic Perl to manipulate texts

text editors

quantitative analysis of text

comparing texts and visualizing differences

search using regular expressions

using regular expressions to batch edit text

diacritic removal, sentence segmentation, tokenization

getting information on Chinese characters from Unihan database

rule-based automatic part of speech identification

creating your own corpus

"NLP workflow engines" - GATE, OpenNLP, Treex

calling REST APIs

UDPipe and select the appropriate model if there are more than one for the language

visualization of analysis and results