Teoretické základy neuronových sítí

Garant předmětu:

Martin Holeňa

Přednášející:

Martin Holeňa

Cvičící:

Marek Dědič, Martin Holeňa

Předmět zajišťuje:

katedra matematiky

Anotace:

Umělé neuronové sítě jsou dnes základem umělé inteligence a nejrychleji se rozvíjející oblastí strojového učení. Tento předmět seznamuje s jejích teoretickými základy. Nejdříve na obecné úrovni s jejich strukturou, aktivní dynamikou a adaptivní dynamikou, tj. učením. Poté se věnuje teoretickým základům nejběžnějších typů umělých neuronových sítí, od perceptronu z konce padesátých let až po transformer z roku 2017. Na závěr rigorózně pomocí teorie aproximace funkcí vysvětluje nejdůležitější teoretický výsledek týkající se umělých neuronových sítí jejich univerzální aproximační schopnost.

Požadavky:

Osnova přednášek:

1. Záklaní koncepty umělých neuronových sítí

Neurony, spoje, vstupní, výstupní a skryté neurony, topologie sítě. Aktivita neuronu a její vývoj v čase. Synaptické a somatické operace, aktivační funkce. Globální a lokální aktivní dynamika sítě, její končněrozměrná parametrizace. Adaptivní dynamika sítě (učení), učení s učitelem, posilované učení. Typy optimalizačních algoritmů pro učení sítí, cílové funkce v nich používané.

2. Nejběžnější typy umělých neuronových sítí

McCullogh-Pittsův dvojstavový prvek jako předchůdce perceptronu. Perceptron a jeho učicí algoritmus. Asociativní paměť a její učicí algoritmus, lineární asociativní paměť. Hopfieldova síť. Vícevrstvý perceptron, odvození učicího algoritmu zpětného šíření. Rekurentní sítě, síť typu LSTM. Konvoluční neuronová síť. Autoencoder, odšumující autoencoder. Transformer.

3. Přístup k neuronovým sítím z hlediska teorie aproximace funkcí

Souvislost s vyjádřením funkcí více proměnných pomocí funkcí méně proměnných, 13. Hilbertův problém, Kolmogorov-Arnoldova věta, Vituškinova věta. Přehled Banachových prostorů funkcí: prostory funkcí s konečným integrálem podle konečné míry, prostory spojitých funkcí, Sobolevovy prostory, prostory funkcí se spojitými derivacemi. Univerzální aproximační schopnost neuronových sítí jako hustota množin funkcí počítaných vícevrstvými perceptrony v prostorech funkcí. Specifická univerzální aproximační schopnost sítí se sigmoidálními aktivačními funkcemi a její souvislost s Kolmogorov-Arnoldovou větou.

Osnova cvičení:

1. Rozhodovací stromy, náhodné lesy, jejich konstrukce, kriéria dělení, implementace.

Principal component analysis, redukce dimenze a matematické koncepty (SVD). Vizualizace dat pomocí PCA. K-means shlukování, metriky pro shlukování.

2. Neuronové sítě, jejich architektura, gradientní sestup, aktivačn funkce, hyperparametery a jejich volba.

3. Optimalizace neuronových sítí, algoritmy SGD, Momentum, Nesterov, Adagrad, Adadelta, Adam, AdamW

4. Pokročilé architektury neuronových sítí - rekurentní sítě, transformery

5. Pokročilé architektury neuronových sítí - grafové neuronové sítě

Cíle studia:

Znalosti:

Porozumění základním konceptům a nejběžnějším typům umělých neuronový sítí, matematický vhled do univerzální aproximační schopnosti neuronových sítí.

Schopnosti:

Dokázat implementovat jednoduché neuronové sítě na některé ze tří nejběžnějších implementačních platforem: Deep learning toolbox, Pytorch, Tensorflow.

Studijní materiály:

Povinné:

prezentace na webu přednášejícího

Doporučené:

C. M. Bishop. Neural Networks for Pattern Recognition. Clarendon-Press, Oxford.

I. Goodfellow, Y. Bengio, A. Courville. Deep Learning. MIT, Boston.

Poznámka:

Rozvrh na zimní semestr 2025/2026:

Rozvrh není připraven

Rozvrh na letní semestr 2025/2026:

Rozvrh není připraven

Předmět je součástí následujících studijních plánů:

• Aplikované matematicko-stochastické metody (volitelný předmět)
• Matematická informatika (povinný předmět programu)