Rozpoznávání a strojové učení

Vztahy:

Předmět A4B33RPZ může při kontrole studijních plánů nahradit předmět Y33ROV

Předmět A4B33RPZ nesmí být zapsán, je-li v témže semestru zapsán anebo již dříve absolvován předmět X33RZO (vztah je symetrický)

Předmět A4B33RPZ může při kontrole studijních plánů nahradit předmět X33RZO

Předmět A4B33RPZ nesmí být zapsán, je-li v témže semestru zapsán anebo již dříve absolvován předmět AE4B33RPZ (vztah je symetrický)

Předmět A4B33RPZ může být splněn v zastoupení předmětem X33RZO

Předmět A4B33RPZ nesmí být zapsán, je-li v témže semestru zapsán anebo již dříve absolvován předmět AE4B33RPZ (vztah je symetrický)

Předmět A4B33RPZ může být splněn v zastoupení předmětem AE4B33RPZ

Předmět A4B33RPZ nesmí být zapsán, je-li v témže semestru zapsán anebo již dříve absolvován předmět BE5B33RPZ (vztah je symetrický)

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra kybernetiky

Anotace:

Základní úlohou rozpoznávání je nalezení strategie rozhodování minimalizující ztrátu plynoucí z chybných rozhodnutí. Potřebná znalost o (typicky statistickém) vztahu příznaků, t.j. pozorovatelných vlastností objektů a skrytých parametrů objektů (třídě) je získána učením. Jsou představeny základní formulace úlohy rozpoznávání a principy učení. Návrh, učení a vlastnosti základních typů klasifikátorů (strojů realizující rozhodovací strategii) jsou rozebrány do hloubky. Do této skupiny jsou zahrnuty parametrické klasifikátory, perceptron, klasifikátory typu support vector machines, adaboost a neuronové sítě.

Výsledek studentské ankety předmětu je zde: http://www.fel.cvut.cz/anketa/aktualni/courses/A4B33RPZ

Požadavky:

Předpokládá se znalost lineární algebry, mat. analýzy a pravděpodobnosti a statistiky.

Osnova přednášek:

1.Formulace úloh řešených v rozpoznávání. Mapa předmětu. Základní ojmy.

2.Bayesovská úloha rozhodování, tj. statistické rozhodování jako minimalizace střední ztráty.

3.Nebayesovské úlohy

4.Odhady parametrů pravděpodobnostních modelu. Metoda maximální věrohodnosti.

5.Klasifikace metodou nejbližšího souseda.

6.Lineární klasifikátor. Perceptronový algoritmus.

7.Učení metodou Adaboost.

8.Učení jako kvadraticky optimalizační problém. SVM klasifikátory.

9.Učení metodou backpropagation. Neuronové sítě.

10.Učení rozhodovacích stromů

11.Učení a logistická regrese.

12.EM (Expectation Maximization) algoritmus.

13.Sekvenční rozpoznávání (Waldova analýza).

14.Druhý průchod učivem. Rezerva

Osnova cvičení:

Studenti řeší několik rozpoznávacích úloh, např. rozpoznání ručně psaných znaků, identifikaci obličeje či detekci spamu pomocí jak klasických metod, tak pomocí učících se klasifikátorů.

1.Úvodní cvičení. Instalace STPR toolboxu, práce s Matlabem, jednoduchý příklad

2.Bayesovská úloha rozhodování.

3.Nebayesovské úlohy - úloha Neyman-Pearson

4.Nebayesovské úlohy - Minimaxní úloha

5.Maximálně věrohodný odhad

6.Neparametrické odhady Parzenova okénka

7.Lineární klasifikátor - Perceptron

8.AdaBoost

9.Support Vector Machines I

10.Support Vector Machines II

11.EM algoritmus I

12.EM algoritmus II

13.Odevzdávání a kontrola úloh

14.Odevzdávání a kontrola úloh

Cíle studia:

Naučit studenta formulovat úlohu statistického rozhodování (rozpoznávání), používat metody strojového učení, a řešit rozpoznávací úlohu pomocí nejpoužívanějších učících se klasifikátorů (SVM, Adaboost, neuronová síť, perceptron, nejbližší soused)

Studijní materiály:

1.Duda, Hart, Stork: Pattern Classification, 2001.

2.Bishop: Pattern Recognition and Machine Learning, 2006.

3.Schlesinger, Hlavac: Ten Lectures on Statistical and Structural Pattern Recognition, 2002 (Deset přednášek z teorie statistického a strukturního rozpoznávání, 1997).

Poznámka:

URL: http://cw.felk.cvut.cz/doku.php/courses/a4b33rpz/start

Další informace:

http://cw.felk.cvut.cz/doku.php/courses/a4b33rpz/start

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů: