Pattern Recognition and Machine Learning

Předmět nesmí být zapsán současně s:

Rozpoznávání a strojové učení (A4B33RPZ)

Předmět je náhradou za:

Rozpoznávání a strojové učení (A4B33RPZ)

Přednášející:

Jiří Matas (gar.), Vojtěch Franc

Cvičící:

Jiří Matas (gar.), Andrej Mikulík, Michal Perďoch, Jan Šochman, Jiří Trefný

Předmět zajišťuje:

katedra kybernetiky

Anotace:

The basic formulations of the statistical decision problem are presented. The necessary knowledge about the (statistical) relationship between observations and classes of objects is acquired by learning on the raining set. The course covers both well-established and advanced classifier learning methods, as Perceptron, AdaBoost, Support Vector Machines, and Neural Nets.

Požadavky:

Knowledge of linear algebra, mathematical analysis and

probability and statistics.

Osnova přednášek:

1.The pattern recognition problem. Overview of the Course. Basic notions.

2.The Bayesian decision-making problem, i.e. minimization of expected loss.

3.Non-bayesian decision problems.

4.Parameter estimation. The maximum likelihood method.

5.The nearest neighbour classifier.

6.Linear classifiers. Perceptron learning.

7.The Adaboost method.

8.Learning as a quadratic optimization problem. SVM classifiers.

9.Feed-forward neural nets. The backpropagation algorithm.

10.Decision trees.

11.Logistic regression.

12.The EM (Expectation Maximization) algorithm.

13.Sequential decision-making (Wald´s sequential test).

14.Recap.

Osnova cvičení:

Students solve four or five pattern recognition problems, for instance a simplified version of OCR (optical character recognition), face detection or spam detection using either classical methods or trained classifiers.

1.Introduction to MATLAB and the STPR toolbox, a simple recognition experiment

2.The Bayes recognition problem

3.Non-bayesian problems I: the Neyman-Pearson problem.

4.Non-bayesian problems II: The minimax problem.

5.Maximum likelihood estimates.

6.Non-parametric estimates, Parzen windows.

7.Linear classifiers, the perceptron algorithm

8.Adaboost

9.Support Vector Machines I

10.Support Vector Machines II

11.EM algoritmus I

12.EM algoritmus II

13.Submission of reports. Discussion of results.

14.Submission of reports. Discussion of results.

Cíle studia:

To teach the student to formalize statistical decision

making problems, to use machine learning techniques and to

solve pattern recognition problems with the most popular

classifiers (SVM, AdaBoost, neural net, nearest neighbour).

Studijní materiály:

1.Duda, Hart, Stork: Pattern Classification, 2001.

2.Bishop: Pattern Recognition and Machine Learning, 2006.

3.Schlesinger, Hlavac: Ten Lectures on Statistical and Structural Pattern Recognition, 2002.

Poznámka:

https://cw.felk.cvut.cz/doku.php/courses/ae4b33rpz/lectures/start/en_labs

Rozvrh na zimní semestr 2011/2012:

	06:00–08:0008:00–10:0010:00–12:0012:00–14:0014:00–16:0016:00–18:0018:00–20:0020:00–22:0022:00–24:00
Po	místnost KN:G-205 Matas J. Franc V. 14:30–16:00 (přednášková par. 1) Karlovo nám. Laboratoř PC
Út
St
Čt	místnost KN:E-132 Šochman J. Mikulík A. 12:45–14:15 (přednášková par. 1 paralelka 101) Karlovo nám. Laboratoř PC
Pá

Rozvrh na letní semestr 2011/2012:

Rozvrh není připraven

Předmět je součástí následujících studijních plánů:

• Otevřená informatika - Počítačové systémy (povinný předmět programu)
• Otevřená informatika - Informatika a počítačové vědy (povinný předmět programu)
• Otevřená informatika - Softwarové systémy (povinný předmět programu)
• Open Informatics - Computer and Information Science (povinný předmět oboru)
• Otevřená informatika - před rozřazením do oborů (povinný předmět programu)