Předzpracování dat

Přednášející:

Pavel Kordík (gar.)

Cvičící:

Pavel Kordík (gar.)

Předmět zajišťuje:

katedra teoretické informatiky

Anotace:

Studenti se naučí připravit surová data pro další zpracování a analýzu. Získají znalosti algoritmů pro extrakci parametrů z různých datových zdrojů, jako jsou obrázky, texty, časové řady, apod, a získají dovednosti tyto teoretické znalosti aplikovat při řešení daného problému, např. extrakce parametrů z obrazových dat nebo z Internetu.

Požadavky:

Základy statistiky, znalost problematiky vytěžování dat.

Osnova přednášek:

1. Průzkum dat, techniky exploratorní analýzy, vizualizace surových dat.

2. Deskriptivní statistika.

3. Metody určování významnosti příznaků.

4. Problémy v datech - dimenzionalita, šum, odlehlé hodnoty, nekonzistence, chybějící hodnoty, nenumerická data.

5. Čištění dat, transformace dat, imputing, diskretizace, binning.

6. Redukce dimenzionality dat.

7. Redukce objemu dat, balancování tříd.

8. Extrakce příznaků z textu.

9. Extrakce příznaků z dokumentů, webu, předzpracování strukturovaných dat.

10. Extrakce příznaků z časových řad.

11. Extrakce příznaků z obrazu.

12. Případové studie přípravy dat.

13. Automatizace předzpracování dat.

Osnova cvičení:

1. zadání semestrálních projektů

2. konzultace

3. prezentace semestrálních projektů

Cíle studia:

Příprava dat je klíčem k úspěšnému zpracování dat a je časově velmi náročná - většinou zabere více času, než samotné zpracování dat. Znalost algoritmů pro extrakci parametrů z různých datových zdrojů patří k základům znalostního inženýrství.

Studijní materiály:

Pyle, D. ''Data Preparation for Data Mining''. Morgan Kaufmann, 1999. ISBN 1558605290.

Guyon, I., Gunn, S., Nikravesh, M., Zadeh, L. A. ''Feature Extraction: Foundations and Applications (Studies in Fuzziness and Soft Computing)''. Springer, 2006. ISBN 3540354875.

Poznámka:

Rozsah=prednasky+proseminare+cviceni2p+1c, Prednasejici: Ing. Pavel Kordík Ph.D.

Rozvrh na zimní semestr 2011/2012:

	06:00–08:0008:00–10:0010:00–12:0012:00–14:0014:00–16:0016:00–18:0018:00–20:0020:00–22:0022:00–24:00
Po
Út	místnost T9:349 Kordík P. 16:15–17:45 (přednášková par. 1) Dejvice NBFIT místnostmístnost TH:A-930 Kordík P. 18:00–19:30 LICHÝ TÝDEN (přednášková par. 1 paralelka 101) Dejvice FIT PC ucebna
St
Čt
Pá

Rozvrh na letní semestr 2011/2012:

Rozvrh není připraven

Předmět je součástí následujících studijních plánů:

• Znalostní inženýrství - verze pro ty, kteří se zapsali v roce 2010 (povinný předmět oboru)
• Společný plán před přiřazením do oboru, verze pro ty, kteří se zapsali v roce 2010 (VO)
• Společný plán před přiřazením do oboru, verze pro ty, kteří se zapsali v roce 2011 (VO)
• Znalostní inženýrství - verze pro ty, kteří se zapsali v roce 2011 (povinný předmět oboru)
• Společný plán před přiřazením do oboru, verze pro ty, kteří se zapsali v roce 2012 (VO)
• Znalostní inženýrství - verze pro ty, kteří se zapsali v roce 2012 (povinný předmět oboru)