Logo ČVUT
ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE
STUDIJNÍ PLÁNY
2019/2020

Teorie neuronových sítí

Přihlášení do KOSu pro zápis předmětu Zobrazit rozvrh
Kód Zakončení Kredity Rozsah Jazyk výuky
MI-TNN Z,ZK 4 1P+1C česky
Přednášející:
Martin Holeňa (gar.)
Cvičící:
Daniel Vašata, Martin Holeňa (gar.)
Předmět zajišťuje:
katedra aplikované matematiky
Anotace:

V tomto předmětu se na neuronové sítě podíváme z pohledu teorie aproximace funkcí a z pohledu teorie pravděpodobnosti.

Nejdříve si připomeneme základní koncepty týkající se umělých neuronových sítí, jako jsou neurony, spoje mezi nimi, typy neuronů z hlediska přenosu signálů, topologie sítě, somatická a synaptická zobrazení, učení sítě a role času v neuronových sítích. V souvislosti s topologií sítě se seznámíme s její transformovatelností do kanonické topologie a v souvislosti se somatickými a synaptickými zobrazeními s jejich skládáním do zobrazení počítaného sítí. Konečně v souvislosti s učením si všimneme problému přeučení a skutečnosti, že učení je ve skutečnosti specifická optimalizační úloha, přičemž si připomeneme nejtypičtější cílové funkce a nejdůležitější optimalizační metody používané pro učení neuronových sítí. Podíváme se na význam všech těchto konceptů si osvětlíme v kontextu běžných typů dopředných neuronových sítí.

V tématu aproximační přístup k neuronovým sítím si nejdříve všimneme souvislosti neuronových sítí s vyjádřením funkcí více proměnných pomocí funkcí méně proměnných (Kolmogorovova věta, Vituškinova věta). Poté si ukážeme, jak lze univerzální aproximační schopnost neuronových sítí matematicky formalizovat jako hustotu množin zobrazení počítaných neuronovými sítěmi v důležitých Banachových prostorech funkcí, konkrétně v prostorech spojitých funkcí, prostorech funkcí integrovatelných vzhledem ke konečné míře, prostorech funkcí se spojitými derivacemi a Sobolevových prostorech.

V tématu pravděpodobnostní přístup k neuronovým sítím se nejdříve seznámíme s učením založeným na střední hodnotě a s učením založeným na náhodném výběru a s pravděpodobnostními předpoklady o trénovacích datech, za kterých lze tyto dva druhy učení neuronových sítí použít. Ukážeme si, jak lze pomocí učení založeném na střední hodnotě získat odhad podmíněné střední hodnoty výstupů sítě podmíněných jejími vstupy. Připomeneme si silný a slabý zákon velkých čísel a seznámíme se s obdobou silného zákona velkých čísel pro neuronové sítě a s předpoklady, za kterých platí. Nakonec si připomeneme centrální limitní větu, seznámíme se s její obdobou pro neuronové sítě, s předpoklady, za kterých platí a s testy hypotéz, které jsou na ní založené. Ukážeme si také, jak lze těchto testů hypotéz využít při hledání topologie sítě.

Požadavky:
Osnova přednášek:

1. a 2.: Základní koncepty umělých neuronových sítí

3. a 4.: Umělé neuronové funkce z pohledu teorie aproximací

5. a 6.: Umělé neuronové funkce z pohledu teorie pravděpodobnosti

Osnova cvičení:

1. Úvod do vývojového prostředí Matlab, seznámení s možnými tématy semestrálek.

2. Přehled existujících knihoven pro neuronové sítě v jazyce Python

3. a 4. Základy práce s mělkými neuronovými sítěmi v Matlabu

5. a 6. Základy práce s hlubokými neuronovými sítěmi v Matlabu

Cíle studia:
Studijní materiály:

[1] M. Holeňa. Statistické aspekty dobývání znalostí z dat. Učební texty Univerzity Karlovy, Karolinum, 2006.

[2] M.T. Hagan, H.B. Demuth, and M.H. Beale. Neural Network Design. PWS Publishing, 1996.

[3] T. Hasti, R. Tibshirani, and J. Friedman. The Elements of Statistical Learning. Springer, 2001.

[4] M.H. Beale, M.T. Hagan, and H.B. Demuth. Deep Learning Toolbox User's Guide, Version 12. Mathworks, 2018.

[5] H. White. Artificial Neural Networks: Approximation and Learning Theory. Blackwell

Publishers,992.

Poznámka:
Další informace:
http://courses.fit.cvut.cz/MI-TNN
Rozvrh na zimní semestr 2019/2020:
Rozvrh není připraven
Rozvrh na letní semestr 2019/2020:
Rozvrh není připraven
Předmět je součástí následujících studijních plánů:
Platnost dat k 5. 12. 2019
Aktualizace výše uvedených informací naleznete na adrese http://bilakniha.cvut.cz/cs/predmet5720006.html