Základy hlubokého učení

Vztahy:

Předmět B0B33DPL nesmí být zapsán, je-li v témže semestru zapsán anebo již dříve absolvován předmět BECM33DPL (vztah je symetrický)

Předmět B0B33DPL může být splněn v zastoupení předmětem BECM33DPL

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra kybernetiky

Anotace:

Kurz představuje hluboké neuronové sítě a hluboké učení jako jednou z oblastí strojového učení a umělé inteligence.

Úvodem představuje základní pojmy strojového učení (minimalizace empirického rizika, lineární klasifikátory a

regrese, meze zobecnění). Následně jsou představeny sítě jako třídy modelů pro predikci (klasifikaci) a regresi společně

se složitostí jejich modelů a meze zobecnění. Cílem kurzu je důkladné pochopení konceptů a algoritmů potřebných

k úspěšnému návrhu, implementaci a učení hlubokých sítí v aplikacích strojového učení. To zahrnuje metody zpětného

šíření chyb a stochastického gradientu, inicializaci a normalizaci vah, deterministické a stochastické metody

regularizace, rozšiřování dat a také nepříznivě odolné přístupy k učení. Kurz je zakončen úvodní diskusí o generativních

neuronových sítích (VAE a GAN) a rekurentních neuronových sítích (GRU a LSTM) pro klasifikaci strukturovaných

výstupů. Studující získají znalosti souvisejících metod a konceptů i praktické dovednosti potřebné pro úspěšný návrh,

implementaci a učení hlubokých sítí v aplikacích strojového učení. Kurz poskytuje základ pro specifické aplikace, např.

v počítačového vidění, využívající specializované a často složitější varianty neuronových sítí, ztrátových funkcí a

učebních přístupů.

Předmět může být vyučován v anglickém jazyce.

Požadavky:

Osnova přednášek:

1. Lineární klasifikátory, lineární regrese, logistická regrese, ztrátová funkce Empirická minimalizace rizika,

regularizace.

2. Umělé neuronové sítě, aktivační funkce, síťové architektury, a dopředné neuronové sítě.

3. Neuronové sítě jako klasifikátory, empirická minimalizace rizika, ztrátové funkce, složitost modelu a meze

zobecnění; neuronové sítě jako nelineární regresní modely, ztrátové funkce.

4. Zpětné šíření, zjednodušení/modularizace pro vrstevnaté sítě.

5. Metoda gradietního sestup a stochastický gradientní sestup (SGD).

6. Konvoluční neuronové sítě, architektury, příklady použití, předtrénování a ladění neuronových sítí.

7. Rekurentní neuronové sítě (RNN), Long Short-Term Memory (LSTM), Autoenkodér, obousměrné a hluboké

rekurentní sítě.

8. Trénování neuronových sítí: Průběh projektu, sběr dat, trénovací/validační/testovací množina, výběr modelu

(architektury), overfitting, včasné zastavení.

9. Trénování neuronových sítí 1: předzpracování dat, inicializace vah, dávková normalizace

10. Trénování neuronových sítí 2: adaptivní metody SGD.

11. Trénování neuronových sítí 3: regularizace, regularizace vah L1/L2, náhodné prediktory, výpadek, rozšíření

dat (data augmentation).

12. Trénování neuronových sítí 4: nepříznivé vzory, robustní přístupy k učení.

13. Generativní modely: Generativní sítě: VAE, GAN (úvodní úroveň).

14. Rezerva, další neprobraná témata, např. grafové neuronové sítě, konvoluce na grafech.

Osnova cvičení:

Cvičení jsou orientované na praktické ověření teoretických konceptů společně s konzultacemi řešení domácích úkolů,

ve kterých mají studující možnost implementovat metody diskutované v kurzu a experimentovat s nimi.

Cíle studia:

Cílem kurzu je poskytnout příslušné algoritmické a teoretické koncepty potřebné pro úspěšný návrh a trénování

(hlubokých) neuronových sítí. Současně poskytuje technické a praktické dovednosti v této oblasti.

Studijní materiály:

Goodfellow, Y. Bengio and A. Courville, Deep Learning, MIT Press, 2016.

Poznámka:

Další informace:

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů: