Teorie neuronových sítí

Garant předmětu:

Martin Holeňa

Přednášející:

Martin Holeňa

Cvičící:

Marek Dědič, Martin Holeňa

Předmět zajišťuje:

katedra aplikované matematiky

Anotace:

Umělé neuronové sítě jsou dnes základem umělé inteligence a nejrychleji se rozvíjející oblastí strojového učení. Tento předmět seznamuje s jejích teoretickými základy. Nejdříve na obecné úrovni s jejich strukturou, aktivní dynamikou a adaptivní dynamikou, tj. učením. Poté se věnuje teoretickým základům nejběžnějších typů umělých neuronových sítí, od perceptronu z konce padesátých let až po transformer z roku 2017. Na závěr rigorózně pomocí teorie aproximace funkcí vysvětluje nejdůležitější teoretický výsledek týkající se umělých neuronových sítí jejich univerzální aproximační schopnost.

Požadavky:

Znalosti z pravděpodobnosti a lineární algebry na úrovni absolventa bakalářského studia.

Osnova přednášek:

1. Záklaní koncepty umělých neuronových sítí

Neurony, spoje, vstupní, výstupní a skryté neurony, topologie sítě. Aktivita neuronu a její vývoj v čase. Synaptické a somatické operace, aktivační funkce. Globální a lokální aktivní dynamika sítě, její končněrozměrná parametrizace. Adaptivní dynamika sítě (učení), učení s učitelem, posilované učení. Typy optimalizačních algoritmů pro učení sítí, cílové funkce v nich používané.

2. Nejběžnější typy umělých neuronových sítí

McCullogh-Pittsův dvojstavový prvek jako předchůdce perceptronu. Perceptron a jeho učicí algoritmus. Asociativní paměť a její učicí algoritmus, lineární asociativní paměť. Hopfieldova síť. Vícevrstvý perceptron, odvození učicího algoritmu zpětného šíření. Rekurentní sítě, síť typu LSTM. Konvoluční neuronová síť. Autoencoder, odšumující autoencoder. Transformer.

3. Přístup k neuronovým sítím z hlediska teorie aproximace funkcí

Souvislost s vyjádřením funkcí více proměnných pomocí funkcí méně proměnných, 13. Hilbertův problém, Kolmogorov-Arnoldova věta, Vituškinova věta. Přehled Banachových prostorů funkcí: prostory funkcí s konečným integrálem podle konečné míry, prostory spojitých funkcí, Sobolevovy prostory, prostory funkcí se spojitými derivacemi. Univerzální aproximační schopnost neuronových sítí jako hustota množin funkcí počítaných vícevrstvými perceptrony v prostorech funkcí. Specifická univerzální aproximační schopnost sítí se sigmoidálními aktivačními funkcemi a její souvislost s Kolmogorov-Arnoldovou větou.

Osnova cvičení:

1. Rozhodovací stromy, náhodné lesy, jejich konstrukce, kriéria dělení, implementace.

2. Principal component analysis, redukce dimenze a matematické koncepty (SVD). Vizualizace dat pomocí PCA. K-means shlukování, metriky pro shlukování.

3. Neuronové sítě, jejich architektura, gradientní sestup, aktivačn funkce, hyperparametery a jejich volba.

4. Optimalizace neuronových sítí, algoritmy SGD, Momentum, Nesterov, Adagrad, Adadelta, Adam, AdamW

5. Pokročilé architektury neuronových sítí - rekurentní sítě, transformery

6. Pokročilé architektury neuronových sítí - grafové neuronové sítě

Cíle studia:

Znalosti:

Porozumění základním konceptům a nejběžnějším typům umělých neuronový sítí, matematický vhled do univerzální aproximační schopnosti neuronových sítí.

Schopnosti:

Dokázat implementovat jednoduché neuronové sítě na některé ze tří nejběžnějších implementačních platforem: Deep learning toolbox, Pytorch, Tensorflow.

Studijní materiály:

Povinné:

prezentace na webu přednášejícího

Doporučené:

C. M. Bishop. Neural Networks for Pattern Recognition. Clarendon-Press, Oxford.

I. Goodfellow, Y. Bengio, A. Courville. Deep Learning. MIT, Boston.

Poznámka:

Informace o předmětu a výukové materiály naleznete na https://courses.fit.cvut.cz/NI-TNN

Další informace:

https://courses.fit.cvut.cz/NI-TNN

Rozvrh na zimní semestr 2024/2025:

Rozvrh není připraven

Rozvrh na letní semestr 2024/2025:

	06:00–08:0008:00–10:0010:00–12:0012:00–14:0014:00–16:0016:00–18:0018:00–20:0020:00–22:0022:00–24:00
Po
Út	místnost T9:347 Holeňa M. 14:30–17:45 LICHÝ TÝDEN (přednášková par. 1) Dejvice NBFIT učebna místnost T9:351 Dědič M. 14:30–16:00 SUDÝ TÝDEN (přednášková par. 1 paralelka 101) Dejvice NBFIT PC ucebna
St
Čt
Pá

Předmět je součástí následujících studijních plánů:

• Mgr. specializace Počítačová bezpečnost, 2020 (volitelný předmět)
• Mgr. specializace Návrh a programování vestavných systémů, 2020 (volitelný předmět)
• Mgr. specializace Počítačové systémy a sítě, 2020 (volitelný předmět)
• Mgr. specializace Manažerská informatika, 2020 (volitelný předmět)
• Mgr. specializace Softwarové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Systémové programování, verze od 2020 (volitelný předmět)
• Mgr. specializace Webové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Znalostní inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2020 (volitelný předmět)
• Mgr. program, pro fázi studia bez specializace, ver. pro roky 2020 a vyšší (volitelný předmět)
• Study plan for Ukrainian refugees (volitelný předmět)
• Mgr. specializace Systémové programování, verze od 2023 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2023 (volitelný předmět)
• Kvantová informatika (volitelný předmět)