Informace a entropie náhodné proměnné, podmíněná informace a entropie, entropie stacionárních procesů, markovské
procesy, markovské aproximace, Shannonova entropická věta, věta o typické množině, kódy komprese dat, blokové kódy,
Kraftova nerovnost, Huffmannův kód, univerzální kódy, frekvenční kód, rekurenční Ziv-Lempelovy kódy, algoritmická
složitost.
Poslední úprava: T_KA (22.04.2008)
Information and entropy of a random variable, conditional information and entropy, entropy of stationary processes, Markov
processes, Markov approximations, Shannon entropy theorem, typical set, the asymptotic equipartition property,
compresssion codes, block codes, Kraft inequality, Huffmann code, universal codes, frequency code, recurrence
Ziv-Lempel codes, algorithmic complexity.
Literatura -
Poslední úprava: T_KA (24.04.2008)
T.A.Cover, J.A.Thomas: Elements of Information Theory. Wiley, New York 1991.
Poslední úprava: T_KA (24.04.2008)
T.A.Cover, J.A.Thomas: Elements of Information Theory. Wiley, New York 1991.
Sylabus -
Poslední úprava: T_KA (22.04.2008)
Informace a entropie náhodné proměnné, podmíněná informace a entropie, entropie stacionárních procesů, markovské procesy, markovské aproximace, Shannonova entropická věta, věta o typické množině, kódy komprese dat, blokové kódy, Kraftova nerovnost, Huffmannův kód, univerzální kódy, frekvenční kód, rekurenční Ziv-Lempelovy kódy, algoritmická složitost.
Poslední úprava: T_KA (22.04.2008)
Information and entropy of a random variable, conditional information and entropy, entropy of stationary processes, Markov processes, Markov approximations, Shannon entropy theorem, typical set, the asymptotic equipartition property, compresssion codes, block codes, Kraft inequality, Huffmann code, universal codes, frequency code, recurrence Ziv-Lempel codes, algorithmic complexity.