Předzpracování dat

Garant předmětu:

Marcel Jiřina

Přednášející:

Marcel Jiřina

Cvičící:

Magda Friedjungová, Marcel Jiřina, Daniel Vašata

Předmět zajišťuje:

katedra aplikované matematiky

Anotace:

Studenti se naučí připravit surová data pro další zpracování a analýzu. Získají znalosti algoritmů pro extrakci parametrů z různých datových zdrojů, jako jsou obrázky, texty, časové řady, apod, a získají dovednosti tyto teoretické znalosti aplikovat při řešení daného problému, např. extrakce parametrů z obrazových dat nebo z Internetu.

Předmět je ekvivalentní s MI-PDD.16

Požadavky:

Základy statistiky, znalost problematiky vytěžování dat.

Doporučenou prerekvizitou je předmět BI-VZD.

Osnova přednášek:

1. Úvod, standardy KDDM, CRISP-DM, DM software.

2. Vizualizace a průzkum dat.

3. Metody určování významnosti příznaků.

4. Problémy v datech: příprava, reprezentace, validace, čištění, chybějící hodnoty, formát datumu, konverze nenumerických dat.

5. Problémy v datech: diskretizace/binning, odlehlé hodnoty/outliers, shluková analýza, falešné prediktory, vyvažování skupin, transformace, vzorkování.

6. Redukce dat: pravidlo nejbližšího souseda, hranice mezi skupinami, CNN, vzdálenostní grafy, Wilsonova editace, multi-edit metoda.

7. Redukce dat: vyvažování tříd, Tomkovy spoje, metoda SMOTE, rozšířené pravidlo nejbližšího souseda.

8. Projekční metody PCA, ICA, LDA.

9. Předzpracování časových řad a extrakce příznaků.

10. Předzpracování textu a extrakce příznaků.

11. Předzpracování obrazu a extrakce příznaků: popis obrazu, filtrace, detekce hran, Fourierova transformace.

12. Předzpracování obrazu a extrakce příznaků: hranová a plošná segmentace, popis objektů v obraze, příznakové a strukturální metody.

Osnova cvičení:

1. zadání semestrálních projektů

2. konzultace

3. prezentace semestrálních projektů

Cíle studia:

Příprava dat je klíčem k úspěšnému zpracování dat a je časově velmi náročná - většinou zabere více času, než samotné zpracování dat. Znalost algoritmů pro extrakci parametrů z různých datových zdrojů patří k základům znalostního inženýrství.

Studijní materiály:

1. Pyle, D. : Data Preparation for Data Mining. Morgan Kaufmann, 1999. ISBN 1558605290.

2. Guyon, I. - Gunn, S. - Nikravesh, M. - Zadeh, L. A. : Feature Extraction: Foundations and Applications (Studies in Fuzziness and Soft Computing). Springer, 2006. ISBN 3540354875.

3. García , S. - Luengo, J. - Herrera F. : Data Preprocessing in Data Mining (Intelligent Systems Reference Library). Springer, 2015. ISBN 978-3319102467.

4. Blokdyk, G. : Data pre-processing (2nd Edition). CreateSpace Independent Publishing Platform, 2018. ISBN 978-1987493245.

Poznámka:

Předmět je ekvivalentní s MI-PDD.16 // Informace o předmětu a výukové materiály naleznete na https://courses.fit.cvut.cz/MI-PDD/

Další informace:

https://courses.fit.cvut.cz/MI-PDD/

Rozvrh na zimní semestr 2024/2025:

Rozvrh není připraven

Rozvrh na letní semestr 2024/2025:

Rozvrh není připraven

Předmět je součástí následujících studijních plánů:

• Bc. program Informatika, pro fázi studia bez oboru, 2015-2020 (volitelný předmět)
• Bc. obor Bezpečnost a informační technologie, 2015-2020 (volitelný předmět)
• Bc. obor Teoretická informatika, 2015-2020 (volitelný předmět)
• Bc. obor Počítačové inženýrství, 2015-2020 (volitelný předmět)
• Bc. obor Informační systémy a management, 2015-2020 (volitelný předmět)
• Bc. obor Webové a softwarové inženýrství, zaměření Softwarové inženýrství, 2015-2020 (volitelný předmět)
• Bc. obor Webové a softwarové inženýrství, zaměření Webové inženýrství, 2015-2020 (volitelný předmět)
• Bc. obor Webové a softwarové inženýrství, zaměření Počítačová grafika, 2015-2020 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2018-2019 (volitelný předmět)
• Bc. obor Znalostní inženýrství, 2018-2020 (volitelný předmět)
• Mgr. specializace Počítačová bezpečnost, 2020 (volitelný předmět)
• Mgr. specializace Návrh a programování vestavných systémů, 2020 (volitelný předmět)
• Mgr. specializace Počítačové systémy a sítě, 2020 (volitelný předmět)
• Mgr. specializace Manažerská informatika, 2020 (volitelný předmět)
• Mgr. specializace Softwarové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Systémové programování, verze od 2020 (volitelný předmět)
• Mgr. specializace Webové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Znalostní inženýrství, 2020 (PS)
• Mgr. specializace Teoretická informatika, 2020 (volitelný předmět)
• Mgr. program, pro fázi studia bez specializace, ver. pro roky 2020 a vyšší (VO, volitelný předmět)
• Bc. specializace Informační bezpečnost, 2021 (volitelný předmět)
• Bc. specializace Manažerská informatika, 2021 (volitelný předmět)
• Bc. specializace Počítačová grafika, 2021 (volitelný předmět)
• Bc. specializace Počítačové inženýrství, 2021 (volitelný předmět)
• Bc. program, pro fázi studia bez specializace, 2021 (volitelný předmět)
• Bc. specializace Webové inženýrství, 2021 (volitelný předmět)
• Bc. specializace Umělá inteligence, 2021 (volitelný předmět)
• Bc. specializace Teoretická informatika, 2021 (volitelný předmět)
• Bc. specializace Softwarové inženýrství, 2021 (volitelný předmět)
• Bc. specializace Počítačové systémy a virtualizace, 2021 (volitelný předmět)
• Bc. specializace Počítačové sítě a Internet, 2021 (volitelný předmět)
• Study plan for Ukrainian refugees (volitelný předmět)
• Master Specialization Digital Business Engineering, 2023 (VO)
• Mgr. specializace Systémové programování, verze od 2023 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2023 (volitelný předmět)