Text Mining

Garant předmětu:

Petr Kroha

Přednášející:

Petr Kroha

Cvičící:

Petr Kroha

Předmět zajišťuje:

katedra softwarového inženýrství

Anotace:

S nástupem elektronických dokumentů nastala situace, kdy jejich počet roste mnohem vyšším tempem, než možnosti, schopnosti a ochota lidí je číst. Metody oboru Information Retrieval sice poskytují přehled o tom, ve kterých dokumentech se hledaná informace zřejmě nachází, ale to jenom znamená, že umožňují vybírat dokumenty podle klíčových slov, kterými indexování dokumentů charakterizuje jejich obsah. Tím jen vytvářejí síto, kterým protéká stále větší a větší počet dokumentů.

Metody oboru Text Mining mají za cíl nejen dokumenty vybírat podle klíčových slov, ale také určovat, co vypovídají. To je úloha velmi složitá, neboť souvisí se sémantikou přirozeného jazyka, kterou často i školení lidé interpretují nejednoznačně.

Text Mining zkoumá zejména následující možnosti práce s textem:

-Informatin extraction - identifikace klíčových komponent textu a vztahů mezi nimi.

-Topic tracking - inteligentní filtrování textů na základě profilu uživatele.

-Summarization - shrnutí obsahu textu.

-Sentence extraction - identifikace vět, které jsou pro obsah dokumentu klíčové.

-Kategorizace, klasifikace, clustering - rozdělování textů do tříd podle příbuznosti obsahu

-Concept linkage - hledání vztahů mezi texty, které mají společné koncepty.

Používají se statistické metody, metody information retrieval, metody počítačové linguistiky i klasifikační metody umělé intelligence.

Cílová skupina studentů:

Přednáška je primárně určena pro doktorandy.

Požadavky:

Předmět PI-TMN navazuje na PI-IRT, takže absolvování PI-IRT je podmínkou pro PI-TMN.

Osnova přednášek:

1.Text Mining, Data Mining, Knowledge Discovery

2.Text Processing - základní pojmy

3.Information Retrieval - základní pojmy

4.Latentní semantické indexování, chi-square testování

5.Clustering

6.Klasifikace textů

7.Metody linguistiky v text mining

8.Aplikace

Osnova cvičení:

Cíle studia:

Cílová skupina studentů:

Přednáška je primárně určena pro doktorandy.

Studijní materiály:

Základem jsou materiály přednášejícího, které studenti obdrží.

Z dostupné literatury je přednášce nejblíže kniha:

Weiss, S.M. et all: Text Mining - Predictive Methods for Analyzing Unstructured Information. Springer, 2005.

Poznámka:

Informace o předmětu a výukové materiály naleznete na https://courses.fit.cvut.cz/PI-TMN/

Další informace:

https://courses.fit.cvut.cz/PI-TMN/

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Informatika (doktorská) (povinně volitelný předmět)
• Informatika (povinně volitelný předmět)