Pattern Recognition and Machine Learning

Vztahy:

Předmět BE5B33RPZ může při kontrole studijních plánů nahradit předmět B4B33RPZ

Předmět BE5B33RPZ nesmí být zapsán, je-li v témže semestru zapsán anebo již dříve absolvován předmět B4B33RPZ (vztah je symetrický)

Předmět BE5B33RPZ nesmí být zapsán, je-li v témže semestru zapsán anebo již dříve absolvován předmět A4B33RPZ (vztah je symetrický)

Podmínkou zápisu na předmět BE5B33RPZ je, že student si nejpozději ve stejném semestru zapsal příslušný počet předmětů ze skupiny BEZBM

Předmět BE5B33RPZ nesmí být zapsán, je-li v témže semestru zapsán anebo již dříve absolvován předmět B4B33RPZ (vztah je symetrický)

Garant předmětu:

Jiří Matas

Přednášející:

Ondřej Drbohlav, Jiří Matas

Cvičící:

Ondřej Drbohlav, Jiří Matas, Lukáš Neumann, Oleksandr Shekhovtsov, Jan Šochman, Tomáš Vojíř

Předmět zajišťuje:

katedra kybernetiky

Anotace:

The basic formulations of the statistical decision problem are presented. The necessary knowledge about the (statistical) relationship between observations and classes of objects is acquired by learning on the raining set. The course covers both well-established and advanced classifier learning methods, as Perceptron, AdaBoost, Support Vector Machines, and Neural Nets.

This course is also part of the inter-university programme prg.ai Minor. It pools the best of AI education in Prague to provide students with a deeper and broader insight into the field of artificial intelligence. More information is available at https://prg.ai/minor.

Požadavky:

Knowledge of linear algebra, mathematical analysis and

probability and statistics.

Osnova přednášek:

1.The pattern recognition problem. Overview of the Course. Basic notions.

2.The Bayesian decision-making problem, i.e. minimization of expected loss.

3.Non-bayesian decision problems.

4.Parameter estimation. The maximum likelihood method.

5.The nearest neighbour classifier.

6.Linear classifiers. Perceptron learning.

7.The Adaboost method.

8.Learning as a quadratic optimization problem. SVM classifiers.

9.Feed-forward neural nets. The backpropagation algorithm.

10.Decision trees.

11.Logistic regression.

12.The EM (Expectation Maximization) algorithm.

13.Sequential decision-making (Wald´s sequential test).

14.Recap.

Osnova cvičení:

Students solve four or five pattern recognition problems, for instance a simplified version of OCR (optical character recognition), face detection or spam detection using either classical methods or trained classifiers.

1.Introduction to MATLAB and the STPR toolbox, a simple recognition experiment

2.The Bayes recognition problem

3.Non-bayesian problems I: the Neyman-Pearson problem.

4.Non-bayesian problems II: The minimax problem.

5.Maximum likelihood estimates.

6.Non-parametric estimates, Parzen windows.

7.Linear classifiers, the perceptron algorithm

8.Adaboost

9.Support Vector Machines I

10.Support Vector Machines II

11.EM algoritmus I

12.EM algoritmus II

13.Submission of reports. Discussion of results.

14.Submission of reports. Discussion of results.

Cíle studia:

To teach the student to formalize statistical decision

making problems, to use machine learning techniques and to

solve pattern recognition problems with the most popular

classifiers (SVM, AdaBoost, neural net, nearest neighbour).

Studijní materiály:

1.Duda, Hart, Stork: Pattern Classification, 2001.

2.Bishop: Pattern Recognition and Machine Learning, 2006.

3.Schlesinger, Hlavac: Ten Lectures on Statistical and Structural Pattern Recognition, 2002.

Poznámka:

https://cw.felk.cvut.cz/doku.php/courses/ae4b33rpz/lectures/start/en_labs

Další informace:

https://cw.fel.cvut.cz/wiki/courses/BE5B33RPZ

Rozvrh na zimní semestr 2024/2025:

	06:00–08:0008:00–10:0010:00–12:0012:00–14:0014:00–16:0016:00–18:0018:00–20:0020:00–22:0022:00–24:00
Po	místnost KN:E-301 Matas J. Drbohlav O. 16:15–17:45 (přednášková par. 1) Karlovo nám. Šrámkova posluchárna K9místnost 18:00–19:30 (přednášková par. 1 paralelka 103)
Út
St
Čt	místnost KN:E-132 12:45–14:15 (přednášková par. 1 paralelka 101) Karlovo nám. Laboratoř PC místnost KN:E-126 12:45–14:15 (přednášková par. 1 paralelka 102) Karlovo nám. Trnkova posluchárna K5
Pá

Rozvrh na letní semestr 2024/2025:

Rozvrh není připraven

Předmět je součástí následujících studijních plánů:

• Electrical Engineering and Computer Science (EECS) (povinně volitelný předmět)
• Otevřená informatika - Informatika a počítačové vědy 2016 (povinný předmět programu)
• Otevřená informatika - Internet věcí 2016 (povinný předmět programu)
• Otevřená informatika - Software 2016 (povinný předmět programu)
• Otevřená informatika - Počítačové hry a grafika 2016 (povinný předmět programu)
• Otevřená informatika - před rozřazením do oborů (povinný předmět programu)
• Otevřená informatika - před rozřazením do specializací (povinně volitelný předmět)
• Otevřená informatika - Základy umělé inteligence a počítačových věd 2018 (povinně volitelný předmět)
• Otevřená informatika - Internet věcí 2018 (povinně volitelný předmět)
• Otevřená informatika - Software 2018 (povinně volitelný předmět)
• Otevřená informatika - Počítačové hry a grafika 2018 (povinně volitelný předmět)
• Electrical Engineering and Computer Science (EECS) (povinně volitelný předmět)
• prg.ai/minor-tech (volitelný předmět)