Non-smooth non-convex optimization for training deep neural networks

Garant předmětu:

Jakub Mareček

Přednášející:

Allen Robert Gehret, Jakub Mareček

Cvičící:

Adam Bosák, Allen Robert Gehret, Andrii Kliachkin, Jakub Mareček

Předmět zajišťuje:

katedra počítačů

Anotace:

Tento kurz představuje nehladkou a nekonvexní optimalizace, která je klíčová pro učení hlubokých neuronových sítí. Paradigma tzv. krotké geometrie zajišťuje rigorózní analýzu stochastického subgradientního sestupu a souvisejících algoritmů pro učení neuronových sítí. Předpoklady krotké geometrie (např. definovatelnost aktivačních funkcí v o-minimálních strukturách) umožňují aplikovat řetízkové pravidlo na zobecněné derivace, a tudíž uplatnit neurální zpětné šíření (backpropagation), zaručují existenci derivace na skoro všech bodech, a zároveň vylučují chaotické chování optimalizačních algoritmů. Kurz tak objasňuje, proč metody založené na gradientech konvergují a trénování se stabilizuje, a to i ve vysokých dimenzích. Propojením abstraktní geometrie se strojovým učením se odhaluje, matematické principy, které jsou základem empirického úspěchu hlubokého učení.

Požadavky:

Osnova přednášek:

Osnova cvičení:

Cíle studia:

Výsledky. Po absolvování tohoto kurzu studenti:

Pochopí principy, na kterých je založen empirický úspěch neuronových sítí.

Budou schopni analyzovat neuronové architektury a dynamiku trénování pomocí principů krotké geometrie (definovatelnosti v o-minimálních strukturách), které propojují definovatelnou regularitu se zárukami konvergence optimalizačních algoritmů a zárukami zobecnění v teorii statistického učení. Aplikovat nástroje jako jsou dekompozice a výběr křivek k analýze nehladké optimalizace.

Vylepší svou schopnost propojit abstraktní teorii s praktickými algoritmy obecněji.

Kurz v konečném důsledku vybaví studenty porozuměním o-minimalitě nejen jako teoretického rámce pro nehladkou nekonvexní optimalizaci, ale i jako jazyka pro logiku, geometrii, a učení neuronových sítí.

Studijní materiály:

Literatura v oboru je poměrně nesourodá a garant pro studenty připravuje studijní materiály pro každou přednášku, které rozšiřují:

Allen Gehret et al., Deep Learning as the Disciplined Construction of Tame Objects, https://arxiv.org/abs/2509.18025

Z již publikovaných prací je možné doporučit pro rozšiřující studium:

Lou van den Dries, Tame topology and o-minimal structures, London Mathematical Society Lecture Note Series, vol. 248, Cambridge University Press, Cambridge, 1998.

Damek Davis, Dmitriy Drusvyatskiy, Sham Kakade, and Jason D Lee, Stochastic subgradient method converges on tame functions, Foundations of computational mathematics 20 (2020), no. 1, 119154.

A. D. Ioffe, An invitation to tame optimization, SIAM Journal on Optimization 19 (2008), no. 4, 18941917.

Poznámka:

Rozvrh na zimní semestr 2025/2026:

Rozvrh není připraven

Rozvrh na letní semestr 2025/2026:

	06:00–08:0008:00–10:0010:00–12:0012:00–14:0014:00–16:0016:00–18:0018:00–20:0020:00–22:0022:00–24:00
Po	místnost KN:A-427 Mareček J. Gehret A. 11:00–12:30 (přednášková par. 1) Karlovo nám. Poc.ucebna A427místnost KN:A-427 Kliachkin A. Bosák A. 12:45–14:15 (přednášková par. 1 paralelka 101) Karlovo nám. Poc.ucebna A427
Út
St
Čt
Pá

Předmět je součástí následujících studijních plánů: