Dynamické rozhodování 1

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra matematiky

Anotace:

Návrh, řízení a analýza inteligentních agentů (systémů) chovajících se vhodně i při měnících podmínkách jsou široce potřebné a využívané v umělé inteligenci, strojovém učení, při vytěžování znalostí z dat, při finančním modelování, pro zpracování přirozeného jazyka, v bioinformatice, pro prohledávání webu i obecně vyhledávání informace, v návrhu algoritmů i systémů a v mnoha dalších oblastech. Tito inteligentní agenti musí uvažovat efektivně, byť pracují s nejistými informacemi a omezenými výpočetními zdroji. Vše lze chápat jako rozhodování, které vyžaduje znalost:

· agentova prostředí a jeho dynamiky (připouštějící i přítomnost dalších inteligentních agentů),

· agentových cílů a preferencích,

· agentových schopností pozorovat a ovlivňovat prostředí.

Tento kurz uvádí do dynamického rozhodování za neurčitosti a odpovídajících výpočetních postupů rozhodování podporujících. Kurz rozvíjí schopnosti matematicky uvažovat o oblastech, v nichž je neurčitost rozhodujícím rysem. Tyto schopnosti tvoří východisko pro další studium v libovolné aplikační oblasti, kterou si účastník kurzu vybere a pomáhá mu i analyzovat vliv nejistoty v jeho běžném životě.

Cíle kurzu

•Naučit se myšlenky a techniky tvořící základ návrhu inteligentních racionálních agentů. Zvláštní důraz bude kladen na pojetí vycházející z popisu pomocí teorie rozhodování.

•Porozumět současnému stavu teorie a aplikací rozhodování.

•Naučit se formulovat úlohy rozhodování či učení a zvolit vhodnou metodiku pro její řešení či užití.

•Podpořit schopnost se orientovat v odpovídajících výzkumně i aplikačně orientované literatuře (klíčové konference: IJCAI, NIPS, AAMAS, ICAART, ICM; klíčové časopisy: AI, JAIR, JAAMAS, IJAR).

•Vytvořit a vyzkoušet si vlastní myšlenky a nápady.

Požadavky:

Pracovní znalost základní lineární algebry (01LAA2, 01LAB2 nebo ekvivalent); základy pravděpodobnosti a statistiky (01PRSTB, 01PRST nebo ekvivalent). Nemělo by vám vadit číst a psát formální matematické texty.

Osnova přednášek:

1.Agent a jeho okolí. Klíčové definice. Klasifikace okolí. Rozhodování v otevřené a uzavřené smyčce.

2.Neurčitost a její zdroje. Zacházení s neurčitostí. Hlavní pojmy teorie pravděpodobnosti aplikované v umělé inteligenci. Princip maximálního očekávaného užitku. Naivní bayesovský klasifikátor. Racionální agent.

3.Testování hypotéz. Bayesovské usuzování.

4.Sekvenční rozhodování. Rozhodovací preference a jejich vlastnosti,. Bayesovské sítě. Rozhodovací stromy. Rozhodovací sítě.

5.Markovský rozhodovací proces (MRP) a jeho formalizace. Přechodová funkce. Funkce užitku. Politika. Hodnota politiky.

6.Řešení MRP. Bellmanův princip optimality. Dynamické programování. Iterace dle funkce hodnoty a její konvergence. Role diskontního faktoru. Ztráta politiky.

7.Iterace politik. Vyhodnocení politiky. Zlepšení politiky. Lineární programování.

8.Částečně pozorovatelný MRP (CPMRP). Řešení CPMRP. Pročišťování a jeho význam.

9.Učení s učitelem a bez učitele. zpětnovazební učení.

10.Q-učení. Algoritmus SARSA. Adaptivní dynamické programování.

11.Problém využití vs. poznávání a jeho řešení. Cena informace. Učení přenosem.

12.Multi-agentní systémy. Kooperace a vyjednávání. Prvky teorie her.

All materials (presentations, literature, examples) are available on https://piazza.com/ (login is needed).

Piazza is also used for inter-group discussions and Q&A.

Osnova cvičení:

Cíle studia:

Cíle kurzu

•Naučit se myšlenky a techniky tvořící základ návrhu inteligentních racionálních agentů. Zvláštní důraz bude kladen na pojetí vycházející z popisu pomocí teorie rozhodování.

•Porozumět současnému stavu teorie a aplikací rozhodování.

•Naučit se formulovat úlohy rozhodování či učení a zvolit vhodnou metodiku pro její řešení či užití.

•Podpořit schopnost se orientovat v odpovídajících výzkumně i aplikačně orientované literatuře (klíčové konference: IJCAI, NIPS, AAMAS, ICAART, ICM; klíčové časopisy: AI, JAIR, JAAMAS, IJAR).

•Vytvořit a vyzkoušet si vlastní myšlenky a nápady.

Studijní materiály:

Doplňující čtení, pokud není výslovně specifikováno během kursu, pochází z:

[1] S. Russell, P.Norvig: Artificial Intelligence: A Modern Approach, 3rd (2009) or 4th (2020) ed.

[2] R. S. Sutton, A G. Barto: Reinforcement Learning: An Introduction. Second edition MIT Press, 2018

[3] D.P.Bertsekas. Dynamic Programming and Optimal Control, vol. 1,2. Athena Sci. Press, 2005

Poznámka:

Další informace:

https://piazza.com/ (login is needed).

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Matematické inženýrství (volitelný předmět)
• Aplikace softwarového inženýrství (volitelný předmět)