Teorie neuronových sítí

Garant předmětu:

Martin Holeňa

Přednášející:

Martin Holeňa

Cvičící:

Marek Dědič, Martin Holeňa

Předmět zajišťuje:

katedra aplikované matematiky

Anotace:

V tomto předmětu se na neuronové sítě podíváme z pohledu teorie aproximace funkcí a z pohledu teorie pravděpodobnosti.

Nejdříve si připomeneme základní koncepty týkající se umělých neuronových sítí, jako jsou neurony, spoje mezi nimi, typy neuronů z hlediska přenosu signálů, topologie sítě, somatická a synaptická zobrazení, učení sítě a role času v neuronových sítích. V souvislosti s topologií sítě se seznámíme s její transformovatelností do kanonické topologie a v souvislosti se somatickými a synaptickými zobrazeními s jejich skládáním do zobrazení počítaného sítí. Konečně v souvislosti s učením si všimneme problému přeučení a skutečnosti, že učení je ve skutečnosti specifická optimalizační úloha, přičemž si připomeneme nejtypičtější cílové funkce a nejdůležitější optimalizační metody používané pro učení neuronových sítí. Podíváme se na význam všech těchto konceptů si osvětlíme v kontextu běžných typů dopředných neuronových sítí.

V tématu aproximační přístup k neuronovým sítím si nejdříve všimneme souvislosti neuronových sítí s vyjádřením funkcí více proměnných pomocí funkcí méně proměnných (Kolmogorovova věta, Vituškinova věta). Poté si ukážeme, jak lze univerzální aproximační schopnost neuronových sítí matematicky formalizovat jako hustotu množin zobrazení počítaných neuronovými sítěmi v důležitých Banachových prostorech funkcí, konkrétně v prostorech spojitých funkcí, prostorech funkcí integrovatelných vzhledem ke konečné míře, prostorech funkcí se spojitými derivacemi a Sobolevových prostorech.

V tématu pravděpodobnostní přístup k neuronovým sítím se nejdříve seznámíme s učením založeným na střední hodnotě a s učením založeným na náhodném výběru a s pravděpodobnostními předpoklady o trénovacích datech, za kterých lze tyto dva druhy učení neuronových sítí použít. Ukážeme si, jak lze pomocí učení založeném na střední hodnotě získat odhad podmíněné střední hodnoty výstupů sítě podmíněných jejími vstupy. Připomeneme si silný a slabý zákon velkých čísel a seznámíme se s obdobou silného zákona velkých čísel pro neuronové sítě a s předpoklady, za kterých platí. Nakonec si připomeneme centrální limitní větu, seznámíme se s její obdobou pro neuronové sítě, s předpoklady, za kterých platí a s testy hypotéz, které jsou na ní založené. Ukážeme si také, jak lze těchto testů hypotéz využít při hledání topologie sítě.

Požadavky:

Znalosti z pravděpodobnosti a lineární algebry na úrovni absolventa bakalářského studia.

Osnova přednášek:

1. a 2.: Základní koncepty umělých neuronových sítí

3. a 4.: Umělé neuronové funkce z pohledu teorie aproximací

5. a 6.: Umělé neuronové funkce z pohledu teorie pravděpodobnosti

Osnova cvičení:

1. Úvod do vývojového prostředí Matlab, seznámení s možnými tématy semestrálek.

2. Přehled existujících knihoven pro neuronové sítě v jazyce Python

3. a 4. Základy práce s mělkými neuronovými sítěmi v Matlabu

5. a 6. Základy práce s hlubokými neuronovými sítěmi v Matlabu

Cíle studia:

Studijní materiály:

[1] M. Holeňa. Statistické aspekty dobývání znalostí z dat. Učební texty Univerzity Karlovy, Karolinum, 2006.

[2] M.T. Hagan, H.B. Demuth, and M.H. Beale. Neural Network Design. PWS Publishing, 1996.

[3] T. Hasti, R. Tibshirani, and J. Friedman. The Elements of Statistical Learning. Springer, 2001.

[4] M.H. Beale, M.T. Hagan, and H.B. Demuth. Deep Learning Toolbox User's Guide, Version 12. Mathworks, 2018.

[5] H. White. Artificial Neural Networks: Approximation and Learning Theory. Blackwell

Publishers,992.

Poznámka:

Informace o předmětu a výukové materiály naleznete na https://courses.fit.cvut.cz/MI-TNN/

Další informace:

http://courses.fit.cvut.cz/MI-TNN

Rozvrh na zimní semestr 2024/2025:

Rozvrh není připraven

Rozvrh na letní semestr 2024/2025:

Rozvrh není připraven

Předmět je součástí následujících studijních plánů:

• Mgr. specializace Teoretická informatika, 2018-2019 (volitelný předmět)
• Mgr. specializace Počítačová bezpečnost, 2020 (volitelný předmět)
• Mgr. specializace Návrh a programování vestavných systémů, 2020 (volitelný předmět)
• Mgr. specializace Počítačové systémy a sítě, 2020 (volitelný předmět)
• Mgr. specializace Manažerská informatika, 2020 (volitelný předmět)
• Mgr. specializace Softwarové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Systémové programování, verze od 2020 (volitelný předmět)
• Mgr. specializace Webové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Znalostní inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2020 (volitelný předmět)
• Mgr. program, pro fázi studia bez specializace, ver. pro roky 2020 a vyšší (volitelný předmět)
• Study plan for Ukrainian refugees (volitelný předmět)
• Mgr. specializace Systémové programování, verze od 2023 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2023 (volitelný předmět)