Vybrané partie z optimalizace a numeriky

Garant předmětu:

Aurél Gábor Gábris

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra aplikované matematiky

Anotace:

Students will be introduced to special optimization problems that arise in the field of machine learning and artificial intelligence and will extend the basic knowledge of continuous optimization acquired in previous studies. They will also learn about the details of implementing solutions to these problems on a computer and related mathematical concepts, especially from numerical linear algebra.

Požadavky:

Osnova přednášek:

1. Spojitá optimalizace: formulace a ukázky různých úloh strojového učení.

2. (2) Iterativní metody pro hledání lokálních extrémů (gradientní sestup, Newtonova metoda a jejich varianty).

4. Lagrangeův formalismus, KKT podmínky.

5. (2) Lineární regrese a metoda nejmenších čtverců: statistické a numerické vlastnosti (výpočet využívající QR rozklad).

7. Dualita a metoda vnitřního bodu.

8. (2) Support Vector Machines regrese.

10. (2) QR rozklad matice, algoritmy pro výpočet QR rozkladu, QR algoritmus.

12. (2) Maticové faktorizace, jejich výpočet a použití ve strojovém učení (SVD, PCA, nezáporná faktorizace).

Osnova cvičení:

1. Iterativní metody pro hledání lokálních extrémů (gradientní sestup, Newtonova metoda a jejich varianty).

2. Vázané extrémy

3. Dualita

4. Maticové rozklady

5. SVD, PCA

6. SVM

Cíle studia:

Students will be introduced to special optimization problems that arise in the field of machine learning and artificial intelligence and will extend the basic knowledge of continuous optimization acquired in previous studies. They will also learn about the details of implementing solutions to these problems on a computer and related mathematical concepts, especially from numerical linear algebra.

Studijní materiály:

1. Bishop, Ch.: Pattern Recognition and Machine Learning

Springer 2006

ISBN 978-0-387-31073-2

2. Hastie, T., Tibshirani, R., Friedman, J.: The Elements of Statistical Learning: Data Mining, Inference, and Prediction

Springer 2011

ISBN 978-0-387-84857-0

3. Boyd, S., Vandenberghe, L.: Convex Optimization

Cambridge University Press 2004

ISBN 9780521833783

4. Trefethen, L. N., Bau, D.: Numerical Linear Algebra

SIAM: Society for Industrial and Applied Mathematics 1997

ISBN 978-0-89871-361-9

5. Nocedal, J., Wright, S. W.: Numerical Optimization, 2nd Edition

Springer 2006

ISBN 978-0-387-40065-5

6. Strang, G.: Introduction to Linear Algebra, 5th Edition

Wellesley-Cambridge Press 2016

ISBN 978-0980232776

Poznámka:

Výuka tohoto předmětu probíhá v anglickém jazyce.

Další informace:

https://courses.fit.cvut.cz/QNIE-PON

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů: