Logo ČVUT
ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE
STUDIJNÍ PLÁNY
2023/2024
UPOZORNĚNÍ: Jsou dostupné studijní plány pro následující akademický rok.

Teorie informace

Přihlášení do KOSu pro zápis předmětu Zobrazit rozvrh
Kód Zakončení Kredity Rozsah Jazyk výuky
01TIN ZK 2 2+0 česky
Garant předmětu:
Tomáš Hobza
Přednášející:
Tomáš Hobza
Cvičící:
Předmět zajišťuje:
katedra matematiky
Anotace:

Teorie informace zkoumá zásadní limity pro zpracování a přenos informace. Zaměříme se na definici entropie a pojmů s ní spojených, větu o kódování zdroje, přenositelnost zdroje informačním kanálem. Tyto koncepty tvoří nezbytné pozadí potřebné pro oblasti jako je komprese dat, zpracování signálů, adaptivní řízení a rozpoznávání obrazu.

Požadavky:

Základní kurzy matematické analýzy a pravděpodobnosti (dle přednášek na FJFI ČVUT v Praze 01MAA3, 01MAA4 a 01MIP).

Osnova přednášek:

1. Zdroj zpráv a entropie, společná a podmíněná entropie, informační divergence, informace a jejich vztah k entropiím.

2. Jensenova nerovnost a metody konvexní analýzy, postačující statistiky a teorém o zpracování informace.

3. Fanova nerovnost a Cramér-Raova nerovnost, asymptotická ekvipartiční vlastnost bezpaměťových zdrojů.

4. Rychlost entropie zdrojů s pamětí, stacionární a markovovské zdroje.

5. Komprese dat, Kraftova nerovnost pro bezprefixové a jednoznačně dekódovatelné kódy, Huffmanovy kódy.

6. Kapacita šumového kanálu, Shannonova věta o přenositelnosti zdroje kanálem.

Osnova cvičení:
Cíle studia:

Znalosti:

Základní pojmy a principy teorie informace.

Schopnosti:

Aplikace získaných znalostí na řešení praktických úloh jako je nalezení optimálního Huffmanova kódu, výpočet stacionárního rozdělení markovských řetězců, výpočet kapacity informačního kanálu.

Studijní materiály:

Povinná literatura:

[1] Vajda, I.: Teorie informace. Vydavatelství ČVUT, Praha 2004.

Doporučená literatura:

[2] Cover, T. M., Thomas, J. A.: Elements of information theory. John Wiley & Sons, NewYork 2012.

[3] Stone, J.V.: Information Theory - A Tutorial Introduction. Sebtel Press, Sheffield 2015.

[4] Csiszár, I., Körner, J.: Information theory - coding theorems for discrete memoryless systems. Cambridge University Press, Cambridge 2016.

Poznámka:
Rozvrh na zimní semestr 2023/2024:
Rozvrh není připraven
Rozvrh na letní semestr 2023/2024:
Rozvrh není připraven
Předmět je součástí následujících studijních plánů:
Platnost dat k 27. 3. 2024
Aktualizace výše uvedených informací naleznete na adrese https://bilakniha.cvut.cz/cs/predmet11334205.html