Nehladká nekonvexní optimalizace pro trénování hlubokých neuronových sítí

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra počítačů

Anotace:

Tento kurz představuje nehladkou a nekonvexní optimalizace, která je klíčová pro učení hlubokých neuronových sítí. Paradigma tzv. krotké geometrie zajišťuje rigorózní analýzu stochastického subgradientního sestupu a souvisejících algoritmů pro učení neuronových sítí. Předpoklady krotké geometrie (např. definovatelnost aktivačních funkcí v o-minimálních strukturách) umožňují aplikovat řetízkové pravidlo na zobecněné derivace, a tudíž uplatnit neurální zpětné šíření (backpropagation), zaručují existenci derivace na skoro všech bodech, a zároveň vylučují chaotické chování optimalizačních algoritmů. Kurz tak objasňuje, proč metody založené na gradientech konvergují a trénování se stabilizuje, a to i ve vysokých dimenzích. Propojením abstraktní geometrie se strojovým učením se odhaluje, matematické principy, které jsou základem empirického úspěchu hlubokého učení.

Požadavky:

Osnova přednášek:

Osnova cvičení:

Cíle studia:

Výsledky. Po absolvování tohoto kurzu studenti:

Pochopí principy, na kterých je založen empirický úspěch neuronových sítí.

Budou schopni analyzovat neuronové architektury a dynamiku trénování pomocí principů krotké geometrie (definovatelnosti v o-minimálních strukturách), které propojují definovatelnou regularitu se zárukami konvergence optimalizačních algoritmů a zárukami zobecnění v teorii statistického učení. Aplikovat nástroje jako jsou dekompozice a výběr křivek k analýze nehladké optimalizace.

Vylepší svou schopnost propojit abstraktní teorii s praktickými algoritmy obecněji.

Kurz v konečném důsledku vybaví studenty porozuměním o-minimalitě nejen jako teoretického rámce pro nehladkou nekonvexní optimalizaci, ale i jako jazyka pro logiku, geometrii, a učení neuronových sítí.

Studijní materiály:

Literatura v oboru je poměrně nesourodá a garant pro studenty připravuje studijní materiály pro každou přednášku, které rozšiřují:

Allen Gehret et al., Deep Learning as the Disciplined Construction of Tame Objects, https://arxiv.org/abs/2509.18025

Z již publikovaných prací je možné doporučit pro rozšiřující studium:

Lou van den Dries, Tame topology and o-minimal structures, London Mathematical Society Lecture Note Series, vol. 248, Cambridge University Press, Cambridge, 1998.

Damek Davis, Dmitriy Drusvyatskiy, Sham Kakade, and Jason D Lee, Stochastic subgradient method converges on tame functions, Foundations of computational mathematics 20 (2020), no. 1, 119154.

A. D. Ioffe, An invitation to tame optimization, SIAM Journal on Optimization 19 (2008), no. 4, 18941917.

Poznámka:

Další informace:

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Otevřená informatika - Umělá inteligence 2026 (povinně volitelný předmět)