Teorie neuronových sítí

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra aplikované matematiky

Anotace:

V tomto předmětu se na neuronové sítě podíváme z pohledu teorie aproximace funkcí a z pohledu teorie pravděpodobnosti.

Nejdříve si připomeneme základní koncepty týkající se umělých neuronových sítí, jako jsou neurony, spoje mezi nimi, typy neuronů z hlediska přenosu signálů, topologie sítě, somatická a synaptická zobrazení, učení sítě a role času v neuronových sítích. V souvislosti s topologií sítě se seznámíme s její transformovatelností do kanonické topologie a v souvislosti se somatickými a synaptickými zobrazeními s jejich skládáním do zobrazení počítaného sítí. Konečně v souvislosti s učením si všimneme problému přeučení a skutečnosti, že učení je ve skutečnosti specifická optimalizační úloha, přičemž si připomeneme nejtypičtější cílové funkce a nejdůležitější optimalizační metody používané pro učení neuronových sítí. Podíváme se na význam všech těchto konceptů si osvětlíme v kontextu běžných typů dopředných neuronových sítí.

V tématu aproximační přístup k neuronovým sítím si nejdříve všimneme souvislosti neuronových sítí s vyjádřením funkcí více proměnných pomocí funkcí méně proměnných (Kolmogorovova věta, Vituškinova věta). Poté si ukážeme, jak lze univerzální aproximační schopnost neuronových sítí matematicky formalizovat jako hustotu množin zobrazení počítaných neuronovými sítěmi v důležitých Banachových prostorech funkcí, konkrétně v prostorech spojitých funkcí, prostorech funkcí integrovatelných vzhledem ke konečné míře, prostorech funkcí se spojitými derivacemi a Sobolevových prostorech.

V tématu pravděpodobnostní přístup k neuronovým sítím se nejdříve seznámíme s učením založeným na střední hodnotě a s učením založeným na náhodném výběru a s pravděpodobnostními předpoklady o trénovacích datech, za kterých lze tyto dva druhy učení neuronových sítí použít. Ukážeme si, jak lze pomocí učení založeném na střední hodnotě získat odhad podmíněné střední hodnoty výstupů sítě podmíněných jejími vstupy. Připomeneme si silný a slabý zákon velkých čísel a seznámíme se s obdobou silného zákona velkých čísel pro neuronové sítě a s předpoklady, za kterých platí. Nakonec si připomeneme centrální limitní větu, seznámíme se s její obdobou pro neuronové sítě, s předpoklady, za kterých platí a s testy hypotéz, které jsou na ní založené. Ukážeme si také, jak lze těchto testů hypotéz využít při hledání topologie sítě.

Požadavky:

Osnova přednášek:

1. a 2.: Základní koncepty umělých neuronových sítí

3. a 4.: Umělé neuronové funkce z pohledu teorie aproximací

5. a 6.: Umělé neuronové funkce z pohledu teorie pravděpodobnosti

Osnova cvičení:

1. Úvod do vývojového prostředí Matlab, seznámení s možnými tématy semestrálek.

2. Přehled existujících knihoven pro neuronové sítě v jazyce Python

3. a 4. Základy práce s mělkými neuronovými sítěmi v Matlabu

5. a 6. Základy práce s hlubokými neuronovými sítěmi v Matlabu

Cíle studia:

Studijní materiály:

[1] M. Holeňa. Statistické aspekty dobývání znalostí z dat. Učební texty Univerzity Karlovy, Karolinum, 2006.

[2] M.T. Hagan, H.B. Demuth, and M.H. Beale. Neural Network Design. PWS Publishing, 1996.

[3] T. Hasti, R. Tibshirani, and J. Friedman. The Elements of Statistical Learning. Springer, 2001.

[4] M.H. Beale, M.T. Hagan, and H.B. Demuth. Deep Learning Toolbox User's Guide, Version 12. Mathworks, 2018.

[5] H. White. Artificial Neural Networks: Approximation and Learning Theory. Blackwell

Publishers,992.

Poznámka:

Informace o předmětu a výukové materiály naleznete na https://courses.fit.cvut.cz/MI-TNN/

Další informace:

http://courses.fit.cvut.cz/MI-TNN

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Mgr. obor Znalostní inženýrství, 2016-2017 (volitelný předmět)
• Mgr. obor Počítačová bezpečnost, 2016-2019 (volitelný předmět)
• Mgr. obor Počítačové systémy a sítě, 2016-2019 (volitelný předmět)
• Mgr. obor Návrh a programování vestavných systémů, 2016-2019 (volitelný předmět)
• Mgr. obor Webové a softwarové inženýrství, zaměření Informační systémy a management, 2016-2019 (volitelný předmět)
• Mgr. obor Webové a softwarové inženýrství, zaměření Softwarové inženýrství, 2016-2019 (volitelný předmět)
• Mgr. obor Webové a softwarové inženýrství, zaměření Webové inženýrství, 2016-2019 (volitelný předmět)
• Mgr. program Informatika, pro fázi studia bez oboru, 2016-2019 (volitelný předmět)
• Mgr. obor Systémové programování, zaměření Systémové programování, 2016-2019 (volitelný předmět)
• Mgr. obor Systémové programování, zaměření Teoretická informatika, 2016-2017 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2018-2019 (volitelný předmět)
• Mgr. obor Znalostní inženýrství, 2018-2019 (volitelný předmět)