Neuronové sítě, strojové učení a náhodnost

Garant předmětu:

Martin Holeňa

Přednášející:

Martin Holeňa

Cvičící:

Předmět zajišťuje:

katedra aplikované matematiky

Anotace:

Za nebývalý vzrůst role umělé inteligence vděčíme generativním systémům, jejichž základem jsou moderní metody strojového učení, především pokročilé varianty rozsáhlých neuronových sítí. Mimořádný význam pro konstrukci a trénování neuronových sítí i řady jiných modelů strojového učení mají stochastické metody, tedy metody založené na náhodnosti. Přestože studenti fakulty se v jiných předmětech dost solidně seznámí s tradičními oblastmi týkajícími se náhodnosti pravděpodobností a statistikou, systematické objasnění souvislostí mezi stochastickými metodami a trénováním neuronových sítí či dalších modelů strojového učení jim přinese teprve předmět Neuronové sítě, strojové učení a náhodnost. Probere do dostatečné hloubky řadu konkrétních typů neuronových sítí, které podstatným způsobem spočívají na náhodnosti, jakož i řadu konkrétních stochastických metod pro neuronové sítě a strojové učení. V závěrečných dvou tématech pak vyloží obecný stochastický přístup k trénování neuronových sítí a ukáže, že kromě využívání náhodnosti v neuronových sítích a strojovém učení se naopak modely strojového učení, včetně neuronových sítí, využívají v jedné z nejdůležitějších aplikací náhodnosti stochastických optimalizačních metodách, k nimž patří např. populární evoluční algoritmy.

Požadavky:

Osnova přednášek:

1. Připomenutí pojmů známých z dřívějška

Umělé neuronové sítě, přenos signálů, architektura sítě. Nejznámější typy neuronových sítí. Obecné modely ve strojovém učení. Trénování modelu. Výběr modelu. Výběr příznaků. Míry kvality modelu. Interpretovatelnost a vysvětlitelnost. Učení s učitelem a bez učitele, posilované učení. Nejznámější metody učení s učitelem. Učení pravidel. Shlukování. Náhodné proměnné a náhodné procesy. Rozdělení pravděpodobnosti a momenty. Bayesovský přístup.

2. Umělé neuronové sítě založené na náhodnosti

ELM (extreme learning machine) sítě. Učení ELM sítí, optimalizační úloha pro učení ELM sítí. Znáhodněné konvoluční neuronové sítě. ESN (echo state network) sítě. Vývoj aktivity v ESN sítích. Bayesovská neuronová síť (BNN). Predikce a odhady v BNN.

3. Stochastické metody pro umělé neuronové sítě

Dropout, bernoulliovský dropout, vlastnosti bernoulliovského dropoutu. Dropout a učení sítě, dropout a regularizace. Dropout a týmy neuronových sítí. Stochastický gradient. Stochastická metoda největšího spádu (SGD). Předpoklady a strategie metody SGD.

4. Stochastické metody pro strojové učení

Pozorovatelné a latentí proměnné. Metoda Monte Carlo markovských řetězců (MCMC). Algoritmus Metropolis-Hastings. Metoda variační inference (VI). VI odhad aposteriorního rozdělení latentních proměnných. Kombinování VI s MCMC.

5. Obecný stochastický přístup k umělým neuronovým sítím

Předpoklady obecného stochastického přístupu. Učení založené na střední hodnotě a učení založené na náhodném výběru. Specificita učení založeného na střední hodnotě při kvadratické chybové funkci. Silný zákon velkých čísel a centrální limitní věta pro učení neuronových sítí.

6. Strojové učení a neuronové sítě jako podpora stochastické optimalizace

Stochastické optimalizační algoritmy, evoluční algoritmus CMA-ES (covariance matrix adaptation evolution strategy). Náhradní modelování pro black-box optimalizaci, založené na umělých neuronových sítích, gaussovských procesech, náhodných lesech a ordinální regresi.

Osnova cvičení:

1. Základy strojového učení v Python, NumPy, Pandas, Seaborn a PyTorch, generování náhodných čísel, vizualizace rozdělení.

2. Algoritmy pro automatické počítání gradientů, jednoduché sítě architektury MLP.

3. Supervised, unsupervised, reinforcement, self-supervised učení. Lineární regrese, cost funkce, vizualizace regresní přímky. Evaluace jednoduchých modelů.

4. Logistická regrese, binární klasifikace, cost funkce. Implementace a vizualizace rozhodovací strategie. Perceptron, algoritmus jeho učení a implementace.

5. Rozdělení dat na trénovací a testovací sadu, overfitting, bias-variance trade-off. L1, L2 regularizace, early stopping, dropout, batching. Cross-validace, její varianty a použití. Fenomén double descent.

6. Bayesova věta, maximum likelihood estimation vs. maximum a-posterioriestimation. Naive Bayes klasifikátor vs. k-Nearest Neighbor klasifikátor.

Cíle studia:

Systematické objasnění souvislostí mezi stochastickými metodami a trénováním neuronových sítí či dalších modelů strojového učení.

Studijní materiály:

1. I. Goodfellow, Y. Bengio, A. Courville. Deep Learning. MIT, Boston.

2. Z.H. Zhou. Machine Learning. Springer Nature, Singapore.

Poznámka:

Výuka předmětu probíhá v českém jazyce. Materiály jsou zveřejněny na https://courses.fit.cvut.cz/NI-NMS.

Další informace:

https://courses.fit.cvut.cz/NI-NMS

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Mgr. specializace Počítačová bezpečnost, 2020 (volitelný předmět)
• Mgr. specializace Návrh a programování vestavných systémů, 2020 (volitelný předmět)
• Mgr. specializace Počítačové systémy a sítě, 2020 (volitelný předmět)
• Mgr. specializace Manažerská informatika, 2020 (volitelný předmět)
• Mgr. specializace Softwarové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Systémové programování, verze od 2020 (volitelný předmět)
• Mgr. specializace Webové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Znalostní inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2020 (volitelný předmět)
• Mgr. program, pro fázi studia bez specializace, ver. pro roky 2020 a vyšší (volitelný předmět)
• Study plan for Ukrainian refugees (volitelný předmět)
• Mgr. specializace Systémové programování, verze od 2023 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2023 (volitelný předmět)