Aplikovaná teorie informace

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra matematiky

Anotace:

Teorie informace zkoumá zásadní limity pro zpracování a přenos informace. Zaměříme se na definici entropie a pojmů s ní spojených, větu o kódování zdroje, přenositelnost zdroje informačním kanálem. Tyto koncepty tvoří nezbytné pozadí potřebné pro oblasti jako je komprese dat, zpracování signálů, adaptivní řízení a rozpoznávání obrazu. Důraz bude kladen na řešení konkrétních úloh.

Požadavky:

Základní kurzy matematické analýzy a pravděpodobnosti (dle přednášek na FJFI ČVUT v Praze 01MAB3, 01MAB4 a 01PRST).

Osnova přednášek:

1. Definice entropie, podmíněné entropie a informace

2. Kódování zdrojů a komprese dat, Huffmanův kód

3. Informační kanály a jejich kapacity

4. Věty o zachování a zpracování informace

5. Fisherova informace

Osnova cvičení:

Cíle studia:

Znalosti:

Základní pojmy a principy teorie informace.

Schopnosti:

Aplikace získaných znalostí na řešení praktických úloh jako je nalezení optimálního Huffmanova kódu, výpočet stacionárního rozdělení markovských řetězců, výpočet kapacity informačního kanálu.

Studijní materiály:

Povinná literatura:

[1] I. Vajda: Teorie informace, skripta FJFI, ČVUT, Praha 2003

Doporučená literatura:

[2] T. Cover and J. Thomas: Elements of information theory, Wiley, 1994

Poznámka:

Další informace:

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů: