Vybrané partie z optimalizace a numeriky

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra aplikované matematiky

Anotace:

Studenti se seznámí se speciálními optimalizačními problémy, které se objevují v oblasti strojového učení a umělé inteligence a rozšíří si tak základní znalosti spojité optimalizace získané v předmětu Matematika pro informatiku. Seznámí se také s detaily implementace řešení těchto problémů na počítači a souvisejícími matematickými koncepty zejména z numerické lineární algebry.

Požadavky:

NI-MPI

Osnova přednášek:

1. Spojitá optimalizace: formulace a ukázky různých úloh strojového učení.

2. - 3. (2) Iterativní metody pro hledání lokálních extrémů (gradientní sestup, Newtonova metoda a jejich varianty).

4. Lagrangeův formalismus, KKT podmínky.

5. Dualita a metoda vnitřního bodu.

6. - 7. (2) QR rozklad matice, algoritmy pro výpočet QR rozkladu, QR algoritmus.

8. - 9. (2) Lineární regrese a metoda nejmenších čtverců: statistické a numerické vlastnosti (výpočet využívající QR rozklad).

10. - 11. (2) Support Vector Machines regrese.

12. - 13. (2) Maticové faktorizace, jejich výpočet a použití ve strojovém učení (SVD, PCA, nezáporná faktorizace).

Osnova cvičení:

1. Iterativní metody pro hledání lokálních extrémů (gradientní sestup, Newtonova metoda a jejich varianty).

2. Vázané extrémy

3. Dualita

4. Maticové rozklady

5. SVD, PCA

6. SVM

Cíle studia:

Studijní materiály:

1. Christopher Bishop, Pattern Recognition and Machine Learning, Springer-Verlag New York, 2006

2. Trevor Hastie, Robert Tibshirani, Jerome Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Springer, 2011.

3. Stephen Boyd, Lieven Vandenberghe, Convex Optimization, Cambridge University Press, 2004.

4. Lloyd N. Trefethen, David Bau, Numerical Linear Algebra, SIAM: Society for Industrial and Applied Mathematics, 1997

Poznámka:

Informace o předmětu a výukové materiály naleznete na

Další informace:

https://courses.fit.cvut.cz/NI-PON

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Mgr. specializace Počítačová bezpečnost, 2020 (volitelný předmět)
• Mgr. specializace Návrh a programování vestavných systémů, 2020 (volitelný předmět)
• Mgr. specializace Počítačové systémy a sítě, 2020 (volitelný předmět)
• Mgr. specializace Manažerská informatika, 2020 (volitelný předmět)
• Mgr. specializace Softwarové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Systémové programování, verze od 2020 (volitelný předmět)
• Mgr. specializace Webové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Znalostní inženýrství, 2020 (PS)
• Mgr. specializace Teoretická informatika, 2020 (volitelný předmět)
• Mgr. program, pro fázi studia bez specializace, ver. pro roky 2020 a vyšší (VO, volitelný předmět)
• Master Specialization Digital Business Engineering, 2023 (VO)
• Mgr. specializace Systémové programování, verze od 2023 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2023 (volitelný předmět)