Pravděpodobnost, statistika a teorie informace

Podmínkou zápisu předmětu je, že student získal v předchozích semestrech zápočet z následujících předmětů:

Přednášející:

Mirko Navara (gar.)

Cvičící:

Mirko Navara (gar.), Tomáš Kroupa, Libor Nentvich, Externista Zikmundová

Předmět zajišťuje:

katedra matematiky

Anotace:

Předmět seznamuje se základy teorie pravděpodobnosti, matematické

statistiky, matematické teorie informace a kódování. Zahrnuje popisy

pravděpodobnosti, náhodných veličin, jejich rozdělení,

charakteristik a operací s náhodnými veličinami. Jsou vyloženy

výběrové statistiky, bodové a intervalové odhady, základní testy

hypotéz a metoda nejmenších čtverců. Základy teorie Markovových řetězců.

Shannonova entropie, vzájemná a podmíněná informace.

Požadavky:

Lineární algebra, Matematická analýza,

Diskrétní matematika

Osnova přednášek:

1. Základní pojmy teorie pravděpodobnosti. Kolmogorovův model pravděpodobnosti. Nezávislost, podmíněná pravděpodobnost, Bayesův vzorec.

2. Náhodné veličiny a způsoby jejich popisu. Náhodný vektor. Distribuční funkce.

3. Kvantilová funkce. Směs náhodných veličin.

4. Charakteristiky náhodných veličin a jejich vlastnosti. Operace s náhodnými veličinami.

Základní typy rozdělení.

5. Charakteristiky náhodných vektorů. Kovariance, korelace. Čebyševova nerovnost. Zákon velkých čísel. Centrální limitní věta.

6. Základní pojmy statistiky. Výběrový průměr, výběrový rozptyl.

Intervalové odhady střední hodnoty a rozptylu.

7. Metoda momentů, metoda maximální věrohodnosti. EM algoritmus.

8. Testování hypotéz o střední hodnotě a rozptylu.

Testy dobré shody, testy korelace, neparametrické testy.

9. Diskrétní náhodné procesy. Stacionární procesy. Markovovy řetězce.

10. Klasifikace stavů Markovových řetězců.

11. Asymptotické vlastnosti Markovových řetězců. Přehled a ukázky aplikací.

12. Shannonova entropie diskrétního rozdělení a její axiomatické vyjádření. Věta o minimální a maximální entropii.

13. Podmíněná entropie. Řetězcové pravidlo. Subaditivita. Entropie spojité veličiny.

14. Fanova nerovnost. Informace ve zprávě Y o zprávě X.

Osnova cvičení:

1. Příklady na elementární pravděpodobnost.

2. Kolmogorovův model pravděpodobnosti. Nezávislost, podmíněná pravděpodobnost, Bayesův vzorec.

3. Směs náhodných veličin. Střední hodnota. Unární operace s náhodnými veličinami.

4. Rozptyl. Náhodný vektor, sdružené rozdělení. Binární operace s náhodnými veličinami.

5. Výběrový průměr, výběrový rozptyl. Čebyševova nerovnost. Centrální limitní věta.

6. Intervalové odhady střední hodnoty a rozptylu.

7. Metoda momentů, metoda maximální věrohodnosti.

8. Testování hypotéz o střední hodnotě a rozptylu.

Testy dobré shody, testy korelace, neparametrické testy.

9. Diskrétní náhodné procesy. Stacionární procesy. Markovovy řetězce.

10. Klasifikace stavů Markovových řetězců.

11. Asymptotické vlastnosti Markovových řetězců.

12. Shannonova entropie diskrétního rozdělení.

13. Podmíněná entropie. Řetězcové pravidlo. Subaditivita. Entropie spojité veličiny.

14. Fanova nerovnost. Informace ve zprávě Y o zprávě X.

Cíle studia:

Zvládnutí základů teorie pravděpodobnosti a jejich využití pro statistické odhady a testy.

Využití Markovových řetězců pro modelování.

Základní pojmy teorie informace.

Studijní materiály:

[1] Navara, M.: Pravděpodobnost a matematická statistika. Skriptum

FEL ČVUT, 1. vydání, Praha, 2007.

[2] Rogalewicz, V.: Pravděpodobnost a statistika pro inženýry.

Skriptum FBMI ČVUT, 2. vydání, Praha, 2007.

[3] Zvára, K., Štěpán, J.: Pravděpodobnost a matematická statistika,

2. vydání, Matfyzpress, MFF UK, Praha, 2002.

[4] Nagy, I.: Pravděpodobnost a matematická statistika. Cvičení.

Skriptum FD CVUT, Praha, 2002.

Poznámka:

Podmínkou získání zápočtu je aktivní účast na cvičeních, úspěšné absolvování zápočtového testu a vypracování zápočtové práce. Rozsah výuky v kombinované formě studia: 28p+6s; další info http://cmp.felk.cvut.cz/~navara/psi/

Rozvrh na zimní semestr 2011/2012:

	06:00–08:0008:00–10:0010:00–12:0012:00–14:0014:00–16:0016:00–18:0018:00–20:0020:00–22:0022:00–24:00
Po	místnost KN:A-108 Zikmundová E. 09:15–10:45 (přednášková par. 1 paralelka 101) Karlovo nám. Cvičebna -BUFETmístnost KN:A-108 Zikmundová E. 11:00–12:30 (přednášková par. 1 paralelka 102) Karlovo nám. Cvičebna -BUFETmístnost KN:A-108 Zikmundová E. 12:45–14:15 (přednášková par. 1 paralelka 103) Karlovo nám. Cvičebna -BUFET
Út	místnost T2:D3-209 Navara M. 09:15–10:45 (přednášková par. 1) Dejvice Posluchárna
St	místnost KN:E-107 Navara M. 09:15–10:45 (přednášková par. 1) Karlovo nám. Zengerova posluchárna K1místnost T2:C3-54 Nentvich L. 14:30–16:00 (přednášková par. 1 paralelka 104) Dejvice Poslucharnamístnost T2:C3-54 Nentvich L. 16:15–17:45 (přednášková par. 1 paralelka 105) Dejvice Poslucharna
Čt	místnost T2:A4-204 Kroupa T. 11:00–12:30 (přednášková par. 1 paralelka 106) Dejvice Učebnamístnost T2:A4-204 Kroupa T. 12:45–14:15 (přednášková par. 1 paralelka 107) Dejvice Učebnamístnost T2:A4-204 Nentvich L. 16:15–17:45 (přednášková par. 1 paralelka 108) Dejvice Učebnamístnost T2:A4-204 Nentvich L. 18:00–19:30 (přednášková par. 1 paralelka 109) Dejvice Učebna
Pá

Rozvrh na letní semestr 2011/2012:

Rozvrh není připraven

Předmět je součástí následujících studijních plánů:

• Kybernetika a robotika - Robotika (povinný předmět programu)
• Kybernetika a robotika - Senzory a přístrojová technika (povinný předmět programu)
• Kybernetika a robotika - Systémy a řízení (povinný předmět programu)
• Otevřená informatika - Počítačové systémy (povinný předmět programu)
• Otevřená informatika - Informatika a počítačové vědy (povinný předmět programu)
• Otevřená informatika - Softwarové systémy (povinný předmět programu)
• Kybernetika a robotika - před rozřazením do oborů (povinný předmět programu)
• Otevřená informatika - před rozřazením do oborů (povinný předmět programu)