Hluboké učení

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra matematiky

Anotace:

1.Základní pojmy v oblasti teorie pravděpodobnosti a strojového učení (vybrané typy rozdělení, Bayesova věta, KL divergence, prokletí dimensionality, přetrénování, ML a MAP odhad, PCA)

2.Hluboké dopředné neuronové sítě (skryté vrstvy, nelineární aktivační funkce, výstupní vrstvy, ztrátová funkce, ML princip)

3.Optimalizace pro učení hlubokých sítí (stochastická metoda největšího spádu, back-propagation algoritmus, algoritmy s adaptivním parametrem učení, implicitní a explicitní způsoby regularizace)

4.Pokročilé architektury sítí (konvoluční, rekurentní, transformery)

5.Učení bez učitele (GAN, normalizing flows, variační autoenkodéry, difúzní modely)

6.Aplikace hlubokého učení (klasifikace, segmentace, rekonstrukce obrazu, jazykové modely, generování obrázků)

Požadavky:

Udělení zápočtu: Účast na posledním cvičení, na kterém studentské týmy prezentují výsledky semestrálního projektu.

Osnova přednášek:

Více informací naleznete na https://su2.utia.cas.cz/

Osnova cvičení:

Více informací naleznete na https://su2.utia.cas.cz/

Cíle studia:

Náplní předmětu je pochopení principů hlubokého učení. Kromě teorie učení a optimalizace hlubokých sítí budou představeny pokročilé architektury konvolučních a rekurentních sítí, transformerů a principy generativních modelů.

Studijní materiály:

Povinná literatura:

[1] Prince S.: Understanding Deep Learning, MIT Press, 2023.

Doporučená literatura:

[2] Goodfellow I., Bengio Y., Courville A.: Deep Learning, MIT Press, 2016.

[3] Bishop, Christopher M.: Pattern Recognition and Machine Learning. Springer, 2006.

[4] Géron A: Hands-On Machine Learning with Scikit-Learn and TensorFlow, 2017.

[5] Chollet, F.: Deep Learning with Python, 2018.

[6] online zdroje: pytorch.org/tutorials/, playground.tensorflow.org, tensorflow.org/learn/

Poznámka:

Další informace:

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Aplikované matematicko-stochastické metody (povinný předmět programu)