Rozpoznávání a strojové učení

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra kybernetiky

Anotace:

Základní úlohou rozpoznávání je nalezení strategie rozhodování minimalizující ztrátu plynoucí z chybných rozhodnutí. Potřebná znalost o (typicky statistickém) vztahu příznaků, t.j. pozorovatelných vlastností objektů a skrytých parametrů objektů (třídě) je získána učením. Jsou představeny základní formulace úlohy rozpoznávání a principy učení. Návrh, učení a vlastnosti základních typů klasifikátorů (strojů realizující rozhodovací strategii) jsou rozebrány do hloubky. Do této skupiny jsou zahrnuty parametrické klasifikátory, perceptron, klasifikátory typu support vector machines, adaboost a neuronové sítě.

Výsledek studentské ankety předmětu je zde: http://www.fel.cvut.cz/anketa/aktualni/courses/A4B33RPZ

Požadavky:

Předpokládá se znalost lineární algebry, mat. analýzy a pravděpodobnosti a statistiky.

Osnova přednášek:

1.Formulace úloh řešených v rozpoznávání. Mapa předmětu. Základní ojmy.

2.Bayesovská úloha rozhodování, tj. statistické rozhodování jako minimalizace střední ztráty.

3.Nebayesovské úlohy

4.Odhady parametrů pravděpodobnostních modelu. Metoda maximální věrohodnosti.

5.Klasifikace metodou nejbližšího souseda.

6.Lineární klasifikátor. Perceptronový algoritmus.

7.Učení metodou Adaboost.

8.Učení jako kvadraticky optimalizační problém. SVM klasifikátory.

9.Učení metodou backpropagation. Neuronové sítě.

10.Učení rozhodovacích stromů

11.Učení a logistická regrese.

12.EM (Expectation Maximization) algoritmus.

13.Sekvenční rozpoznávání (Waldova analýza).

14.Druhý průchod učivem. Rezerva

Osnova cvičení:

Studenti řeší několik rozpoznávacích úloh, např. rozpoznání ručně psaných znaků, identifikaci obličeje či detekci spamu pomocí jak klasických metod, tak pomocí učících se klasifikátorů.

1.Úvodní cvičení. Instalace STPR toolboxu, práce s Matlabem, jednoduchý příklad

2.Bayesovská úloha rozhodování.

3.Nebayesovské úlohy - úloha Neyman-Pearson

4.Nebayesovské úlohy - Minimaxní úloha

5.Maximálně věrohodný odhad

6.Neparametrické odhady Parzenova okénka

7.Lineární klasifikátor - Perceptron

8.AdaBoost

9.Support Vector Machines I

10.Support Vector Machines II

11.EM algoritmus I

12.EM algoritmus II

13.Odevzdávání a kontrola úloh

14.Odevzdávání a kontrola úloh

Cíle studia:

Naučit studenta formulovat úlohu statistického rozhodování

rozpoznávání), používat metody strojového učení, a řešit

rozpoznávací úlohu pomocí nejpoužívanějších učících se

klasifikátorů (SVM, Adaboost, neuronová síť, perceptron,

nejbližší soused)

Studijní materiály:

1.Duda, Hart, Stork: Pattern Classification, 2001.

2.Bishop: Pattern Recognition and Machine Learning, 2006.

3.Schlesinger, Hlavac: Ten Lectures on Statistical and Structural Pattern Recognition, 2002 (Deset přednášek z teorie statistického a strukturního rozpoznávání, 1997).

Poznámka:

Rozsah výuky v kombinované formě studia: 14p+6c

Další informace:

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů: