Teorie informace

Přednášející:

Tomáš Hobza (gar.)

Cvičící:

Tomáš Hobza (gar.)

Předmět zajišťuje:

katedra matematiky

Anotace:

Teorie informace zkoumá zásadní limity pro zpracování a přenos informace. Zaměříme se na definici entropie a pojmů s ní spojených, větu o kódování zdroje, přenositelnost zdroje informačním kanálem. Tyto koncepty tvoří nezbytné pozadí potřebné pro oblasti jako je komprese dat, zpracování signálů, adaptivní řízení a rozpoznávání obrazu.

Požadavky:

Základní kurzy matematické analýzy a pravděpodobnosti (dle přednášek na FJFI ČVUT v Praze 01MAA3, 01MAA4 a 01PRA1).

Osnova přednášek:

1. Zdroj zpráv a entropie, společná a podmíněná entropie, informační divergence, informace a jejich vztah k entropiím.

2. Jensenova nerovnost a metody konvexní analýzy, postačující statistiky a teorém o zpracování informace.

3. Fanova nerovnost a Cramér-Raova nerovnost, asymptotická ekvipartiční vlastnost bezpaměťových zdrojů.

4. Rychlost entropie zdrojů s pamětí, stacionární a markovovské zdroje.

5. Komprese dat, Kraftova nerovnost pro bezprefixové a jednoznačně dekódovatelné kódy, Huffmanovy kódy.

6. Kapacita šumového kanálu, Shannonova věta o přenositelnosti zdroje kanálem.

Osnova cvičení:

Cíle studia:

Znalosti:

Základní pojmy a principy teorie informace.

Schopnosti:

Aplikace získaných znalostí na řešení praktických úloh jako je nalezení optimálního Huffmanova kódu, výpočet stacionárního rozdělení markovských řetězců, výpočet kapacity informačního kanálu.

Studijní materiály:

Povinná literatura:

[1] I. Vajda: Teorie informace, skripta FJFI, ČVUT, Praha 2003.

Doporučená literatura:

[2] T. Cover and J. Thomas: Elements of information theory, Wiley, 1994.

Poznámka:

Rozvrh na zimní semestr 2011/2012:

Rozvrh není připraven

Rozvrh na letní semestr 2011/2012:

Rozvrh není připraven

Předmět je součástí následujících studijních plánů: