Teorie informace

Garant předmětu:

Tomáš Hobza

Přednášející:

Tomáš Hobza

Cvičící:

Předmět zajišťuje:

katedra matematiky

Anotace:

Teorie informace zkoumá zásadní limity pro zpracování a přenos informace. Zaměříme se na definici entropie a pojmů s ní spojených, větu o kódování zdroje, přenositelnost zdroje informačním kanálem. Tyto koncepty tvoří nezbytné pozadí potřebné pro oblasti jako je komprese dat, zpracování signálů, adaptivní řízení a rozpoznávání obrazu.

Požadavky:

Základní kurzy matematické analýzy a pravděpodobnosti (dle přednášek na FJFI ČVUT v Praze 01MAA3, 01MAA4 a 01MIP).

Osnova přednášek:

1. Zdroj zpráv a entropie, společná a podmíněná entropie, informační divergence, informace a jejich vztah k entropiím.

2. Jensenova nerovnost a metody konvexní analýzy, postačující statistiky a teorém o zpracování informace.

3. Fanova nerovnost a Cramér-Raova nerovnost, asymptotická ekvipartiční vlastnost bezpaměťových zdrojů.

4. Rychlost entropie zdrojů s pamětí, stacionární a markovovské zdroje.

5. Komprese dat, Kraftova nerovnost pro bezprefixové a jednoznačně dekódovatelné kódy, Huffmanovy kódy.

6. Kapacita šumového kanálu, Shannonova věta o přenositelnosti zdroje kanálem.

Osnova cvičení:

Cíle studia:

Znalosti:

Základní pojmy a principy teorie informace.

Schopnosti:

Aplikace získaných znalostí na řešení praktických úloh jako je nalezení optimálního Huffmanova kódu, výpočet stacionárního rozdělení markovských řetězců, výpočet kapacity informačního kanálu.

Studijní materiály:

Povinná literatura:

[1] Vajda, I.: Teorie informace. Vydavatelství ČVUT, Praha 2004.

Doporučená literatura:

[2] Cover, T. M., Thomas, J. A.: Elements of information theory. John Wiley & Sons, NewYork 2012.

[3] Stone, J.V.: Information Theory - A Tutorial Introduction. Sebtel Press, Sheffield 2015.

[4] Csiszár, I., Körner, J.: Information theory - coding theorems for discrete memoryless systems. Cambridge University Press, Cambridge 2016.

Poznámka:

Rozvrh na zimní semestr 2024/2025:

Rozvrh není připraven

Rozvrh na letní semestr 2024/2025:

Rozvrh není připraven

Předmět je součástí následujících studijních plánů:

• Matematické inženýrství (volitelný předmět)
• Aplikovaná algebra a analýza (volitelný předmět)
• Aplikované matematicko-stochastické metody (povinný předmět programu)
• Aplikace informatiky v přírodních vědách (volitelný předmět)
• Matematické inženýrství (povinný předmět programu)
• Matematická informatika (povinný předmět programu)
• Kvantové technologie (volitelný předmět)