Pattern Recognition and Machine Learning

Vztahy:

Předmět BE5B33RPZ může při kontrole studijních plánů nahradit předmět B4B33RPZ

Předmět BE5B33RPZ nesmí být zapsán, je-li v témže semestru zapsán anebo již dříve absolvován předmět B4B33RPZ (vztah je symetrický)

Předmět BE5B33RPZ nesmí být zapsán, je-li v témže semestru zapsán anebo již dříve absolvován předmět A4B33RPZ (vztah je symetrický)

Podmínkou zápisu na předmět BE5B33RPZ je, že student si nejpozději ve stejném semestru zapsal příslušný počet předmětů ze skupiny BEZBM

Předmět BE5B33RPZ nesmí být zapsán, je-li v témže semestru zapsán anebo již dříve absolvován předmět B4B33RPZ (vztah je symetrický)

Předmět je ekvivalentní s AE4B33RPZ .

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra kybernetiky

Anotace:

The basic formulations of the statistical decision problem are presented. The necessary knowledge about the (statistical) relationship between observations and classes of objects is acquired by learning on the raining set. The course covers both well-established and advanced classifier learning methods, as Perceptron, AdaBoost, Support Vector Machines, and Neural Nets.

This course is also part of the inter-university programme prg.ai Minor. It pools the best of AI education in Prague to provide students with a deeper and broader insight into the field of artificial intelligence. More information is available at https://prg.ai/minor.

Požadavky:

Knowledge of linear algebra, mathematical analysis and

probability and statistics.

Osnova přednášek:

1. Introduction. Basic notions. The Bayesian recognition problem

2. Non-Bayesian tasks

3. Parameter estimation of probabilistic models. Maximum likelihood method

4. Nearest neighbour method. Non-parametric density estimation.

5. Logistic regression

6. Classifier training. Linear classifier. Perceptron.

7. SVM classifier

8. Adaboost learning

9. Neural networks. Backpropagation

10. Cluster analysis, k-means method

11. EM (Expectation Maximization) algorithm.

12. Feature selection and extraction. PCA, LDA.

13. Decision trees.

Osnova cvičení:

You will implement a variety of learning and inference algorithms on simple pattern recognition tasks. Each week a new assignment is introduced at the beginning of the lab, and you are expected to complete the task during the submission period. The discussion at the beginning of the lab session will link the theory presented in the lectures to the practical task in the weekly assignments. The remaining time of the lab is devoted to individual interactions between students and teaching assistants.

1. Introduction, work with python, simple example

2. Bayesian decision task

3. Non-bayesian tasks - the minimax task

4. Non-parametrical estimates - parzen windows

5. MLE, MAP and Bayes parameter estimation

6. Logistic regression

7. Problem solving / exam questions

8. Linear classifier - perceptron

9. Support Vector Machine

10. AdaBoost

11. K-means clustering

12. Convolutional neural networks

13. Problem solving / exam questions

Cíle studia:

To teach the student to formalize statistical decision

making problems, to use machine learning techniques and to

solve pattern recognition problems with the most popular

classifiers (SVM, AdaBoost, neural net, nearest neighbour).

Studijní materiály:

1.Duda, Hart, Stork: Pattern Classification, 2001.

2.Bishop: Pattern Recognition and Machine Learning, 2006.

3.Schlesinger, Hlavac: Ten Lectures on Statistical and Structural Pattern Recognition, 2002.

Poznámka:

Další informace:

https://cw.fel.cvut.cz/wiki/courses/BE5B33RPZ

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Electrical Engineering and Computer Science (EECS) (povinně volitelný předmět)
• Otevřená informatika - Informatika a počítačové vědy 2016 (povinný předmět programu)
• Otevřená informatika - Internet věcí 2016 (povinný předmět programu)
• Otevřená informatika - Software 2016 (povinný předmět programu)
• Otevřená informatika - Počítačové hry a grafika 2016 (povinný předmět programu)
• Otevřená informatika - před rozřazením do oborů (povinný předmět programu)
• Otevřená informatika - před rozřazením do specializací (povinně volitelný předmět)
• Otevřená informatika - Základy umělé inteligence a počítačových věd 2018 (povinně volitelný předmět)
• Otevřená informatika - Internet věcí 2018 (povinně volitelný předmět)
• Otevřená informatika - Software 2018 (povinně volitelný předmět)
• Otevřená informatika - Počítačové hry a grafika 2018 (povinně volitelný předmět)
• Electrical Engineering and Computer Science (EECS) (povinně volitelný předmět)
• prg.ai/minor-tech (volitelný předmět)