Information and entropy of a random variable, conditional information and entropy, entropy of stationary processes, Markov
processes, Markov approximations, Shannon entropy theorem, typical set, the asymptotic equipartition property,
compresssion codes, block codes, Kraft inequality, Huffmann code, universal codes, frequency code, recurrence
Ziv-Lempel codes, algorithmic complexity.
Last update: T_KA (22.04.2008)
Informace a entropie náhodné proměnné, podmíněná informace a entropie, entropie stacionárních procesů, markovské
procesy, markovské aproximace, Shannonova entropická věta, věta o typické množině, kódy komprese dat, blokové kódy,
Kraftova nerovnost, Huffmannův kód, univerzální kódy, frekvenční kód, rekurenční Ziv-Lempelovy kódy, algoritmická
složitost.
Literature -
Last update: T_KA (24.04.2008)
T.A.Cover, J.A.Thomas: Elements of Information Theory. Wiley, New York 1991.
Last update: T_KA (24.04.2008)
T.A.Cover, J.A.Thomas: Elements of Information Theory. Wiley, New York 1991.
Syllabus -
Last update: T_KA (22.04.2008)
Information and entropy of a random variable, conditional information and entropy, entropy of stationary processes, Markov processes, Markov approximations, Shannon entropy theorem, typical set, the asymptotic equipartition property, compresssion codes, block codes, Kraft inequality, Huffmann code, universal codes, frequency code, recurrence Ziv-Lempel codes, algorithmic complexity.
Last update: T_KA (22.04.2008)
Informace a entropie náhodné proměnné, podmíněná informace a entropie, entropie stacionárních procesů, markovské procesy, markovské aproximace, Shannonova entropická věta, věta o typické množině, kódy komprese dat, blokové kódy, Kraftova nerovnost, Huffmannův kód, univerzální kódy, frekvenční kód, rekurenční Ziv-Lempelovy kódy, algoritmická složitost.