Základy teorie informace

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra softwarového inženýrství

Anotace:

Entropie jako míra neurčitosti a její využití k měření množství informace. Možnosti využití informačního přístupu v různých oblastech vědy, techniky ekonomie atd. k řešení konkrétních problémů.

Požadavky:

Osnova přednášek:

1. Pojem informace a jeho interpretace. Některé historické přístupy k jeho kvantifikaci.

2. Neurčitost jako výchozí pojem.

3. Entropie.

4. Shannův model k určení míry neurčitosti.

5. Matematické vlastnosti entropie a jejich praktická interpretace.

6. Informace a její kvantifikování v rámci Shannova přístupu.

7. Příklady, problémy, logické problémy.

8. Náhodná veličina a její entropie. Informace náhodné veličiny.

9. Konkrétní příklady , problémy a využití v diskrétním a spojitém případě.

10. Entropie, jazyk a kódování.

11. Redundance, kapacita kanálu.

Osnova cvičení:

Cíle studia:

Znalosti:

Studenti budou rozumět pojmu informace a jeho interpretaci a kvantifikaci pomocí entropie. Dále poznají Shannonův model míry neurčitosti a matematické vlastnosti používaných veličin.

Schopnosti:

Studenti budou schopni využít závěry teorie informace v diskrétním i spojitém případě.

Studijní materiály:

Povinná literatura:

[1] A.M. Jaglom, I.M. Jaglom: Pravděpodobnost a informace, Nakladatelství ČSAV, Praha, 1964.

Doporučená literatura:

[2] Jiří Adámek: Kódování, Matematika pro vysoké školy techn. sešit XXXI, SNTL, 1989.

[3] Igor Vajda: Teorie informace, Skripta, vydavatelství ČVUT, FJFI, 2004.

Poznámka:

Další informace:

Předmět lze absolvovat opakovaně

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů: