Nehladká nekonvexní optimalizace pro trénování hlubokých neuronových sítí

Garant předmětu:

Jakub Mareček

Přednášející:

Allen Robert Gehret, Jakub Mareček

Cvičící:

Adam Bosák, Allen Robert Gehret, Andrii Kliachkin, Jakub Mareček

Předmět zajišťuje:

katedra počítačů

Anotace:

Požadavky:

Osnova přednášek:

Sylabus kurzu.

(1) Obecný úvod do nehladké nekonvexní optimalizace.

(2) Struktury, o-minimální struktury a definovatelnost.

(3) Zajímavosti o o-minimalitě: známé o-minimální struktury, krotké asymptotiky, aktivační funkce, exponenciální dichotomie.

Teorie jedné proměnné

(4) lokální o-minimalita, konvergence různých jednostranných limit, konvergence centrální cesty.

(5) Věta o Cr-monotonicitě, definovatelná volba a výběr křivky.

(6) Newtonova metoda pro polohladké funkce.

Teorie několika proměnných

(7) Věta o rozkladu a dimenze.

(8) Základní diferenciální a Riemannova geometrie v krotkém prostředí.

(9) Stratifikace v o-minimálních strukturách: Whitney (a/b), Verdier.

(10) Nerovnosti Polyaka-Lojasiewicze-Kurdyky (PLK).

Aplikace ve strojovém učení

(11) Zobecněné derivace a Clarkeův subdiferenciál. Řetízkové pravidlo pro zobecněné derivace. Stochastická subgradientní metoda konverguje na krotkých funkcích.

(12) Automatické derivování a subgradient. PyTorch a TensorFlow. Konzervativní pole s množinovými hodnotami.

(13) Aplikace v teorii statistického učení: (konečná) VC dimenze, NIP, agnostické PAC učení.

Osnova cvičení:

Cíle studia:

Výsledky učení. Po absolvování tohoto kurzu studenti:

Pochopí principy, na kterých je založen empirický úspěch neuronových sítí.

Budou schopni analyzovat neuronové architektury a dynamiku trénování pomocí principů krotké geometrie (definovatelnosti v o-minimálních strukturách), které propojují definovatelnou regularitu se zárukami konvergence optimalizačních algoritmů a zárukami zobecnění v teorii statistického učení. Aplikovat nástroje jako jsou dekompozice a výběr křivek k analýze nehladké optimalizace.

Vylepší svou schopnost propojit abstraktní teorii s praktickými algoritmy obecněji.

Kurz v konečném důsledku vybaví studenty porozuměním o-minimalitě nejen jako teoretického rámce pro nehladkou nekonvexní optimalizaci, ale i jako jazyka pro logiku, geometrii, a učení neuronových sítí.

Studijní materiály:

Literatura v oboru je poměrně nesourodá a garant pro studenty připravuje studijní materiály pro každou přednášku. Z již publikovaných prací je možné doporučit pro rozšiřující studium:

Lou van den Dries, Tame topology and o-minimal structures, London Mathematical Society Lecture Note Series, vol. 248, Cambridge University Press, Cambridge, 1998.

Damek Davis, Dmitriy Drusvyatskiy, Sham Kakade, and Jason D Lee, Stochastic subgradient method converges on tame functions, Foundations of computational mathematics 20 (2020), no. 1, 119154.

A. D. Ioffe, An invitation to tame optimization, SIAM Journal on Optimization 19 (2008), no. 4, 18941917.

Poznámka:

Další informace:

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů: