Neuronové sítě, strojové učení a náhodnost

Garant předmětu:

Martin Holeňa

Přednášející:

Martin Holeňa

Cvičící:

Martin Holeňa

Předmět zajišťuje:

katedra matematiky

Anotace:

Za nebývalý vzrůst role umělé inteligence vděčíme generativním systémům, jejichž základem jsou moderní metody strojového učení, především pokročilé varianty rozsáhlých neuronových sítí. Mimořádný význam pro konstrukci a trénování neuronových sítí i řady jiných modelů strojového učení mají stochastické metody, tedy metody založené na náhodnosti. Přestože studenti fakulty se v jiných předmětech dost solidně seznámí s tradičními oblastmi týkajícími se náhodnosti pravděpodobností a statistikou, systematické objasnění suvislostí mezi stochastickými metodami a trénováním neuronových sítí či dalších modelů strojového učení jim přinese teprve předmět Neuronové sítě, strojové učení a náhodnost. Probere do dostatečné hloubky řadu konkrétních typů neuronových sítí, které podstatným způsobem spočívají na náhodnosti, jakož i řadu konkrétních stochastických metod pro neuronové sítě a strojové učení. V závěrečných dvou tématech pak vyloží obecný stochastický přístup k trénování neuronových sítí a ukáže, že kromě využívání náhodnosti v neuronových sítích a strojovém učení se naopak modely strojového učení, včetně neuronových sítí, využívají v jedné z nejdůležitějších aplikací náhodnosti stochastických optimalizačních metodách, k nimž patří např. populární evoluční algoritmy.

Požadavky:

Osnova přednášek:

1. Připomenutí pojmů známých z dřívějška

Umělé neuronové sítě, přenos signálů, architektura sítě. Nejznámější typy neuronových sítí. Obecné modely ve strojovém učení. Trénování modelu. Výběr modelu. Výběr příznaků. Míry kvality modelu. Interpretovatelnost a vysvětlitelnost. Učení s učitelem a bez učitele, posilované učení. Nejznámější metody učení s učitelem. Učení pravidel. Shlukování. Náhodné proměnné a náhodné procesy. Rozdělení pravděpodobnosti a momenty. Bayesovský přístup.

2. Umělé neuronové sítě založené na náhodnosti

ELM (extreme learning machine) sítě. Učení ELM sítí, optimalizační úloha pro učení ELM sítí. ELM sítě a náhodná projekce. Znáhodněné konvoluční neuronové sítě. ESN (echo state network) sítě. Vývoj aktivity v ESN sítích. ESN sítě s nepovolenými spoji. Bayesovská neuronová síť (BNN). Apriorní rozdělení pravděpodobnosti v BNN. Predikce a odhady v BNN. BNN se stochastickou aktivací, BNN s omezenou stochasticitou, hierarická BNN.

3. Stochastické metody pro umělé neuronové sítě

Dropout, bernoulliovský dropout, vlastnosti bernoulliovského dropoutu. Dropout a učení sítě, dropout a regularizace. Dropout a týmy neuronových sítí. Dropout v boltzmannovských strojích a v lineární regresi. Gaussovský dropout. Stochastický gradient. Stochastická metoda největšího spádu (SGD). Předpoklady a strategie metody SGD. Aproximace aposteriorního rozdělení pravděpodobnosti, aproximace po složkách.

4. Stochastické metody pro strojové učení

Pozorovatelné a latentí proměnné. Metoda Monte Carlo markovských řetězců (MCMC). MCMC odhad aposteriorního rozdělení latentních proměnných. Algoritmus Metropolis-Hastings. Metoda variační inference (VI). VI odhad aposteriorního rozdělení latentních proměnných. Dolní VI odhad marginálního rozdělení pozorovatelných proměnných. Kombinování VI s MCMC. VI odhady v generativních modelech, hluboké Kalmanovy filtry.

5.Obecný stochastický přístup k umělým neuronovým sítím

Předpoklady obecného stochastického přístupu. Prostory náhodných vektorů. Učení založené na střední hodnotě a učení založené na náhodném výběru. Specificita učení založeného na střední hodnotě při kvadratické chybové funkci. Silný zákon velkých čísel pro učení neuronových sítí, předpoklady a tvrzení. Centrální limitní věta pro učení neuronových sítí, předpoklady a tvrzení. Souvislost s testováním nulovosti vah spojů, využití při klestění sítě.

6.Strojové učení a neuronové sítě jako podpora stochastické optimalizace

Stochastické optimalizační algoritmy, evoluční algoritmus CMA-ES (covariance matrix adaptation evolution strategy). Nevýhoda stochastické optimalizace pro black-box cílové funkce s nákladným vyhodnocováním. Náhradní modelování pro black-box optimalizaci. Volba vyhodnocování mezi black-box funkcí a modelem. Náhradní modely založené na umělých neuronových sítích, gaussovských procesech, náhodných lesech a ordinální regresi.

Osnova cvičení:

1. Základy strojového učení v Python, NumPy, Pandas, Seaborn a PyTorch, generování náhodných čísel, vizualizace rozdělení.

2. Algoritmy pro automatické počítání gradientů, jednoduché sítě architektury MLP.

3. Supervised, unsupervised, reinforcement, self-supervised učení. Lineární regrese, cost funkce, vizualizace regresní přímky. Evaluace jednoduchých modelů.

4. Logistická regrese, binární klasifikace, cost funkce. Implementace a vizualizace rozhodovací strategie. Perceptron, algoritmus jeho učení a implementace.

5. Rozdělení dat na trénovací a testovací sadu, overfitting, bias-variance trade-off. L1, L2 regularizace, early stopping, dropout, batching. Cross-validace, její varianty a použití. Fenomén double descent.

6. Bayesova věta, maximum likelihood estimation vs. maximum a-posterioriestimation. Naive Bayes klasifikátor vs. k-Nearest Neighbor klasifikátor

Cíle studia:

Znalosti:

Porozumění roli náhodnosti v umělých neuronových sítích a dalších modelech strojového učení, jakož i roli neuronových sítí a strojového učení v evoluční stochastické optimalizaci.

Schopnosti:

Dokázat implementovat některé aspekty náhodnosti na některé ze tří nejběžnějších implementačních platforem: Deep learning toolbox, Pytorch, Tensorflow.

Studijní materiály:

Povinné:

prezentace na webu přednášejícího

Doporučené:

I. Goodfellow, Y. Bengio, A. Courville. Deep Learning. MIT, Boston.

Z.H. Zhou. Machine Learning. Springer Nature, Singapore.

Poznámka:

Rozvrh na zimní semestr 2025/2026:

Rozvrh není připraven

Rozvrh na letní semestr 2025/2026:

Rozvrh není připraven

Předmět je součástí následujících studijních plánů:

• Aplikovaná algebra a analýza (volitelný předmět)
• Aplikované matematicko-stochastické metody (volitelný předmět)
• Jaderná a částicová fyzika (volitelný předmět)
• Fyzikální elektronika - Počítačová fyzika (volitelný předmět)
• Jaderná a částicová fyzika (volitelný předmět)
• Jaderná a částicová fyzika (volitelný předmět)