Statistika pro informatiku

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra aplikované matematiky

Anotace:

Studenti budou seznámeni se základy teorie pravděpodobnosti, matematické teorie informace a stochastických procesů a s některými metodami výpočetní statistiky. Studenti porozumí metodám statistického zpracování velkého množství dat. Získají schopnosti používat výpočetní metody a statistický software pro různé úlohy.

Požadavky:

Znalost diferenciálního a integrálního počtu, elementární znalosti z pravděpodobnosti a statistiky.

Osnova přednášek:

1. Základní pojmy teorie pravděpodobnosti: pravděpodobnostní prostor, definice, vlastnosti, sigma-spojitost, atd.

2. Základní pojmy teorie pravděpodobnosti: podmíněná pravděpodobnost, nezávislost, komentované příklady

3. Základní pojmy teorie pravděpodobnosti: náhodné veličiny, distribuční funkce, hustota, závislost, náhodný vektor, marginální a spojené rozdělení

4. Základní pojmy teorie pravděpodobnosti: podmíněné rozdělení, podmíněná střední hodnota, charakteristiky náhodných veličin, některá důležitá pravděpodobnostní rozdělení

5. Základní pojmy teorie pravděpodobnosti: Poissonův proces, simulační metody, generující funkce

6. Základní pojmy teorie pravděpodobnosti: silný zákon velkých čísel, centrální limitní věta, velké deviace, entropie

7. Markovské řetězce s diskrétním parametrem a konečným stavovým prostorem: základní pojmy, ireducibilita a periodicita stavu, absorpční pravděpodobnost, stopping time

8. Markovské řetězce s diskrétním parametrem: Příklady: zobecněná náhodná procházka, náhodná procházka na grafu, gambler's ruin, coupon collector

9. Markovské řetězce s diskrétním parametrem: Asymptotická stacionarita, jednoznačnost a existence stacionárnáho rozdělení, konvergence

10. Markovské řetězce s diskrétním parametrem: Branching procesy, birth & death procesy

11. Metody Monte Carlo: Markov Chain Monte Carlo (MCMC) - základy a příklady

12. Metody Monte Carlo: Rychlá konvergence MCMC, Propp-Wilsonův algoritmus, Sandwiching, Simulated annealing

13. Metody Monte Carlo: Monte Carlo odhady, Monte Carlo testy, redukce rozptylu

14. Stochastické procesy: definice, distribuční funkce, charakteristiky stochastických procesů

15. Stochastické procesy: charakteristiky a klasifikace stochastických procesů, příklady.

16. Základy teorie front: prvky systému hromadné obsluhy, vstupní tok požadavků, obsluha a její režim, fronta a její režim

17. Stochastické procesy: aplikace Poissonova procesu v teorii front

18. Stochastické procesy: aplikace Poissonova procesu v teorii front

19. Stochastické procesy: nehomogenní Poissonův proces, prostorový Poissonův proces, fronta M/G/infinity

20. Markovské řetězce se spojitým parametrem: jump rates, časování skoků pomocí Poissonova procesu, Kolmogorovovy Rovnice

21. Základy teorie front: Fronty M/M/m, systémy hromadné obsluhy

22. Základy teorie front: otevřené a uzavřené systémy hromadné obsluhy

23. Bootstrap metody: vlastnosti bootstrapových aproximací, korekce vychýlení odhadu bootstrapem

24. Bootstrap metody: intervaly spolehlivosti bootstrapem, permutační bootstrap

25. Bootstrap metody: bootstrapové intervaly spolehlivosti parametrů v lineární regresi

26. Odhady hustot pravděpodobnosti: histogramy, jádrové odhady, metoda maximální věrohodnosti, metoda momentů

Osnova cvičení:

1. Podmíněná pravděpodobnost, Bayesův vzorec, rozhodovací stromy, náhodná veličina, některá rozdělení pravděpodobnosti, náhodný vektor, nezávislost.

2. Shannonova entropie diskrétních a spojitých náhodných veličin. Řetězcové pravidlo.

3. Stochastické procesy, autokorelační funkce, vzájemná korelační funkce, spektrální hustota, Bernoulliho a Poissonův proces.

4. Aplikace Poissonova procesu v teorii front, fronta M/G/infinity, Markovské procesy s diskrétním časem.

5. Markovské procesy se spojitým časem, fronty M/M/m, systémy hromadné obsluhy.

6. Generování náhodných čísel, aplikace metody Monte Carlo, bootstrapové intervalové odhady, korekce vychýlení odhadu.

7. Histogram, jádrové odhady hustot pravděpodobnosti, parametrické metody odhadu hustot, směs rozdělení pravděpodobnosti.

Cíle studia:

Cílem předmětu je předat studentům základní znalosti z teorie pravděpodobnosti, teorie informace a stochastických procesů. Dále předmět přináší potřebné znalosti statistiky pro analýzu a zpracování dat. Předmět dále poskytuje znalosti metod výpočetní statistiky a seznamuje studenty s použitím statistických software.

Studijní materiály:

Antoch, J., Vorlíčková, D. ''Vybrané metody statistické analýzy dat''. Praha: Academia, 1992. ISBN 80-200-0204-9.

Prášková, Z. ''Základy náhodných procesů''. Praha: Karolinum, 1998. ISBN 80-7184-688-0.

Vajda, I. ''Teorie informace''. Praha: ČVUT, 2004. ISBN 80-01-02986-7.

Cover, T. M., Thomas, J. A. ''Elements of Information Theory (2nd Edition)''. Wiley-Interscience, 2006. ISBN 0471241954.

Gentle, J. E. ''Elements of Computational Statistics''. Springer, 2005. ISBN 0387954899.

Trivedi, K. S. ''Probability and Statistics with Reliability, Queueing, and Computer Science Applications (2nd Edition)''. Wiley-Interscience, 2001. ISBN 0471333417.

Poznámka:

Informace o předmětu a výukové materiály naleznete na https://courses.fit.cvut.cz/MI-SPI/

Další informace:

https://courses.fit.cvut.cz/MI-SPI/

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů: