Statistické metody zpracování přirozených jazyků I - NPFL067

• Anglický název: Statistical Methods in Natural Language Processing I
• Zajišťuje: Ústav formální a aplikované lingvistiky (32-UFAL)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2016 do 2016
• Semestr: zimní
• E-Kredity: 6
• Rozsah, examinace: zimní s.:2/2, Z+Zk [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: vyučován
• Jazyk výuky: čeština, angličtina
• Způsob výuky: prezenční
• Způsob výuky: prezenční
• Další informace: https://ufal.mff.cuni.cz/courses/npfl067
• Garant: prof. RNDr. Jan Hajič, Dr.
• Třída: DS, matematická lingvistika; Informatika Mgr. - Matematická lingvistika
• Kategorizace předmětu: Informatika > Počítačová a formální lingvistika
• Je korekvizitou pro: NPFL068

Anotace

čeština

Poslední úprava: T_UFAL (20.05.2004)

Cílem je seznámit posluchače se základními pojmy z formální lingvistiky a se základy pravděpodobnostních a statistických metod pro jazykové modelování. Pokračování tématiky lze nalézt ve Statistickém modelování přirozených jazyků II (v LS).

angličtina

Poslední úprava: T_UFAL (20.05.2004)

Introduction to formal linguistics and the fundamentals of statistical natural language processing, including basics of Infromation Theory, Language MOdeling and Markov Models. Continues as Statistical Methods in Natural Language Processing II.

Literatura

Poslední úprava: prof. RNDr. Jan Hajič, Dr. (02.10.2017)

Manning, C. D. and H. Schütze: Foundations of Statistical Natural Language Processing. The MIT Press. 1999. ISBN 0-262-13360-1.

Allen, J.: Natural Language Understanding. The Benajmins/Cummings Publishing Company Inc. 1994. ISBN 0-8053-0334-0.

Wall, L., Christiansen, T. and R. L. Schwartz: Programming PERL. O'Reilly. 1996. ISBN 1-56592-149-6.

Cover, T. M. and J. A. Thomas: Elements of Information Theory. Wiley. 1991. ISBN 0-471-06259-6.

Sylabus

čeština

Poslední úprava: prof. RNDr. Jan Hajič, Dr. (02.10.2017)

Úvod a motivace

Základní pojmy z teorie pravděpodobnosti a teorie informace

Jazykové modelování; metody vyhlazování

Základy lingvistiky: roviny popisu, morfologie, syntax (povrchová vs. hloubková)

Základy lexikografie a třídy slov. Lexikografická definince vzájemné informace, použití t-testu a X2 testu. Základní algoritmus budování hierarchie tříd podobnosti slov z hlediska jazykového modelování; otázky efektivnosti algoritmu.

Skryté Markovovy modely (HMM). Trellis jako základní datová struktura, Viterbiho algoritmus. Odhady parametrů velkých modelů, řízené a neřízené učení, použití EM algoritmu (Forward-backward, Baum-Welch).

Maximální entropie. Princip modelu a odhad parametrů pomocí Generalized Iterative Scaling. Otázky výběru pravidel (features).

angličtina

Poslední úprava: prof. RNDr. Jan Hajič, Dr. (02.10.2017)

Introduction. Course Overview: Intro to NLP. Main Issues.

The Very Basics on Probability Theory. Elements of Information Theory I. Elements of Information Theory II.

Language Modeling in General and the Noisy Channel Model. Smoothing and the EM algorithm.

Linguistics: Phonology and Morphology. Syntax (Phrase Structure vs. Dependency).

Word Classes and Lexicography. Mutual Information (the "pointwise" version). The t-score. The Chi-square test. Word Classes for NLP tasks. Parameter Estimation. The Partitioning Algorithm. Complexity Issues of Word Classes. Programming Tricks & Tips.

Markov models, Hidden Markov Models (HMMs). The Trellis & the Viterbi Algorithms. Estimating the Parameters of HMMs. The Forward-Backward Algorithm. Implementation Issues.

Maximum Entropy. Maximum Entropy Tagging. Feature Based Tagging. Results on Tagging Various Natural Languages.