Teorie Informace

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra matematiky

Anotace:

Cílem je vyložit základní principy matematické teorie informace a

souvisejicí otázky kódování informačních zdrojů. Zejména se jedná o

tata témata: Shannonova entropie, vzájemná a podmíněmá informace, typy

kódů, souvislost entropie a optimalní délky kódu (Shannonova věta o

kódování bez šumu). Dále jsou probírány informačné kanály a jejich

kapacity -Shannonova věta o kódování a univerzální komprese. Výklad je

zaměřen především na model daný diskrétním pravděpodobnostním

prostorem. Nicméně i entropie spojité náhodné veličiny a perspektivy

kvantové teorie informace jsou pojednány.

Požadavky:

Pravděpodobnost a statistika, Lineaární algebra, Matematická analýza, Diskrétní matematika

Osnova přednášek:

1.Shannonova entropie diskrétního rozdělení a její axiomatické vyjádření.

2.Věta o minimální a maximální entropii. Podmíněná entropie. Řetězcové

pravidlo. Subaditivita.

3.Fanova nerovnost. Informace ve zprávě Y o zprávě X.

4.Kódy, prefixové kódy, nesingulární kódy. Kraftova-MacMillanova nerovnost.

5.Odhad střední délky slova kódu pomocí entropie. Huffmanovy kódy.

6.Komprese dat pomocí Zákona velkých čísel. Typické zprávy.

7.Diskrétní náhodné procesy. Stacionární procesy. Markovské řetězce.

8.Rychlost entropie stacionárního zdroje.

9.Informační kanál a jeho kapacita. Základní typy informačních kanálů.

10.Základní Shannonova věta o kódování.

11.Univerzální komprese. Liv-Lempelovy kódy.

12.Statistická informace. Bayesovské chyby.

13.Entropie spojité veličiny. Von Neumannova entropie matice. Kvantová

teorie informace.

14.Rezerva.

Osnova cvičení:

1. Shannonova entropie diskrétního rozdělení a její axiomatické vyjádření.

2. Věta o minimální a maximální entropii. Podmíněná

entropie. Řetězcové pravidlo. Subaditivita.

3. Fanova nerovnost. Informace ve zprávě Y o zprávě X.

4. Kódy, prefixové kódy, nesingulární kódy. Kraftova-MacMillanova nerovnost.

5. Odhad střední délky slova kódu pomocí entropie. Huffmanovy kódy.

6. Komprese dat pomocí Zákona velkých čísel. Typické zprávy.

7. Diskrétní náhodné procesy. Stacionární procesy. Markovské řetězce.

8. Rychlost entropie stacionárního zdroje.

9. Informační kanál a jeho kapacita. Základní typy informačních kanálů.

11. Základní Shannonova věta o kódování.

12. Univerzální komprese. Liv-Lempelovy kódy.

13. Statistická informace. Bayesovské chyby.

14. Entropie spojité veličiny. Von Neumannova entropie

matice. Kvantová teorie informace.

15. Rezerva.

Cíle studia:

Studijní materiály:

[1] David J.C. MacKay: Information Theory, Inference, and Learning

Algorithms, Cambridge University Press, 2003.

[2] T.M.Cover and J.Thomson: Elements of information theory, Wiley, 1991.

[3] I.Vajda: Teorie informace, FJFI, Vydavatelství ČVUT 2004.

Poznámka:

Rozsah výuky v kombinované formě studia: 14p+6s

Další informace:

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů: