|
|
|
||
Přednáška navazuje na Statistické metody zpracování přirozených jazyků
I. Seznámí posluchače s pokročilejšími úlohami statistického zpracování
přirozeného jazyka (diskriminativní a generativní modely, tagging,
složkový a závislostní parsing), s prováděním a vyhodnocováním
experimentů v úlohách zpracování přirozeného jazyka obecně, a s
používáním a budováním korpusů pro účely statistického zpracování
jazyka.
Poslední úprava: T_UFAL (13.05.2014)
|
|
||
Odevzdání jednoho úkolu (50 % známky), absolvování písemné zkoušky (50 %). Zápočet není podmínka konání zkoušky. Podmínkou udělení zápočtu je odevzdat úkol s nenulovým ohodnocením. Úkoly lze odevzdat opakovaně nejvýše dvakrát (celkem třikrát) do termínu uvedeného na webových stránkách předmětu; každý další den do 10 dnů po termínu se odečítá 5 bodů z hodnocení. Odevzdání po deseti dnech po termínu znamená redukci bodů o 50.
Poslední úprava: Hajič Jan, prof. RNDr., Dr. (02.03.2021)
|
|
||
Manning, C. D. and H. Schütze: Foundations of Statistical Natural Language Processing . The MIT Press. 1999. ISBN 0-262-13360-1.
Wall, L., Christiansen, T. and R. L. Schwartz: Programming PERL. O'Reilly. 1996. ISBN 1-56592-149-6.
Charniak, E.: Statistical Language Learning. The MIT Press. 1996. ISBN 0-262-53141-0.
Jelinek, F.: Statistical Methods for Speech Recognition. The MIT Press. 1998. ISBN 0-262-10066-5.
McDonald, R. et al.: Non-projective dependency parsing using spanning tree algorithms. 2005. EMNLP conference proceedings, s. 523-530.
Sborníky z hlavních světových konferencí: ACL (vč. EMNLP/CoNLL), COLING. Poslední úprava: Hajič Jan, prof. RNDr., Dr. (02.03.2021)
|
|
||
Úvod a motivace, opakování
Vyhodnocování experimentů. Základní pojmy: recall, precision, accuracy, F-measure. Trénovací vs. testovací data. Použití křížové entropie a perplexity pro vyhodnocování v případech modelů částí systémů.
Značkování (diskrétní klasifikace). Typické případy: morfologické značkování. Algoritmy morfologické analýzy a syntézy. Metody značkování vč. nestatistických. Statistické značkování: transformation-based learning (TBL), značkování pomocí skrytých Markovových modelů, a značkování pomocí "feature-based" systemů a metody maximální entropie.
Syntaktická analýza (parsing). Statistické vs. nestatistické metody. Shift-reduce parsing pomocí tabulek. Pravděpodobnostní bezkontextové gramatiky (PCFG) a modely na nich založené. Odhad parametrů PCFG. Závislostní parsing.
Přehled metod statistického strojového překladu. Poslední úprava: Hajič Jan, prof. RNDr., Dr. (02.03.2021)
|