Vybrané partie z optimalizace a numeriky

Garant předmětu:

Karel Klouda

Přednášející:

Karel Klouda

Cvičící:

Karel Klouda

Předmět zajišťuje:

katedra aplikované matematiky

Anotace:

Studenti se seznámí se speciálními optimalizačními problémy, které se objevují v oblasti strojového učení a umělé inteligence a rozšíří si tak základní znalosti spojité optimalizace získané v předchozím studiu. Seznámí se také s detaily implementace řešení těchto problémů na počítači a souvisejícími matematickými koncepty zejména z numerické lineární algebry.

Požadavky:

Osnova přednášek:

1. Spojitá optimalizace: formulace a ukázky různých úloh strojového učení.

2. (2) Iterativní metody pro hledání lokálních extrémů (gradientní sestup, Newtonova metoda a jejich varianty).

4. Lagrangeův formalismus, KKT podmínky.

5. (2) Lineární regrese a metoda nejmenších čtverců: statistické a numerické vlastnosti (výpočet využívající QR rozklad).

7. Dualita a metoda vnitřního bodu.

8. (2) Support Vector Machines regrese.

10. (2) QR rozklad matice, algoritmy pro výpočet QR rozkladu, QR algoritmus.

12. (2) Maticové faktorizace, jejich výpočet a použití ve strojovém učení (SVD, PCA, nezáporná faktorizace).

Osnova cvičení:

1. Iterativní metody pro hledání lokálních extrémů (gradientní sestup, Newtonova metoda a jejich varianty).

2. Vázané extrémy

3. Dualita

4. Maticové rozklady

5. SVD, PCA

6. SVM

Cíle studia:

Studenti se seznámí se speciálními optimalizačními problémy, které se objevují v oblasti strojového učení a umělé inteligence a rozšíří si tak základní znalosti spojité optimalizace získané v předchozím studiu. Seznámí se také s detaily implementace řešení těchto problémů na počítači a souvisejícími matematickými koncepty zejména z numerické lineární algebry.

Studijní materiály:

1. Bishop, Ch.: Pattern Recognition and Machine Learning

Springer 2006

ISBN 978-0-387-31073-2

2. Hastie, T., Tibshirani, R., Friedman, J.: The Elements of Statistical Learning: Data Mining, Inference, and Prediction

Springer 2011

ISBN 978-0-387-84857-0

3. Boyd, S., Vandenberghe, L.: Convex Optimization

Cambridge University Press 2004

ISBN 9780521833783

4. Trefethen, L. N., Bau, D.: Numerical Linear Algebra

SIAM: Society for Industrial and Applied Mathematics 1997

ISBN 978-0-89871-361-9

5. Nocedal, J., Wright, S. W.: Numerical Optimization, 2nd Edition

Springer 2006

ISBN 978-0-387-40065-5

6. Strang, G.: Introduction to Linear Algebra, 5th Edition

Wellesley-Cambridge Press 2016

ISBN 978-0980232776

Poznámka:

Předmět se vyučuje společně s NI-PON. Výuka probíhá v českém jazyce.

Informace o předmětu a výukové materiály naleznete na straně https://courses.fit.cvut.cz/QNI-PON.

Další informace:

https://courses.fit.cvut.cz/QNI-PON

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Kvantová informatika (povinně volitelný předmět)