Games and reinforcement learning

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra aplikované matematiky

Anotace:

The field of reinforcement learning is very hot recently, because of advances in deep learning, recurrent neural networks and general artificial intelligence. This course is intended to give you both theoretical and practical background so you can participate in related research activities.

Presented in English.

Požadavky:

BI-ZUM - Introduction to artificial intelligence

Osnova přednášek:

Algorithmic game theory

1. Sealed-bid combinatorial auctions

2. Iterative combinatorial auctions

3. Stable matching

4. Congestion games. Selfish routing and the price of anarchy

5. Potential games. Network cost-sharing games

6. Best response dynamics. No-regret dynamics.

Introduction to Reinforcement Learning

7. Multiarmed Bandit Algorithms.

8. Finite Markov Decision Processes

9. Dynamic Programming

10. Montecarlo methods

11. Temporal-Difference learning

12. Multi-step bootstrapping

13. Planning and learning with tabular methods

Osnova cvičení:

Algorithmic game theory

1. Mechanism design basics. Auctions of physical goods.

2. Sponsored search auctions (online advertising).

3. Congestion games. Selfish routing and the price of anarchy

4. Traffic assignment in networks.

5. Best response dynamics. No-regret dynamics.

6. Rock, paper, scissors.

Introduction to Reinforcement Learning

7. Multiarmed Bandit Algorithms.

8. Markov chains and MDP's.

9. Algorithms: Q-learning, TD

10. Playing tic-tac-toe, checkers.

11. Tensorflow introduction.

12. Case studies: TD-gammon, Atari games, Go playing.

13. OpenAI Gym. Policy gradient algorithm.

Cíle studia:

Teach theoretical and practical aspects of the game theory and reinforcement learning.

Studijní materiály:

Reinforcement Learning: An introduction, Sutton and Barto, 2nd edition draft, 2017.

Algorithmic Game Theory, Roughgarden, Tardos, Vazirani and Nisan, 2007.

Poznámka:

Informace o předmětu a výukové materiály naleznete na https://courses.fit.cvut.cz/MI-GLR/ This course is presented in English.

Další informace:

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Mgr. specializace Počítačová bezpečnost, 2020 (volitelný předmět)
• Mgr. specializace Návrh a programování vestavných systémů, 2020 (volitelný předmět)
• Mgr. specializace Počítačové systémy a sítě, 2020 (volitelný předmět)
• Mgr. specializace Manažerská informatika, 2020 (volitelný předmět)
• Mgr. specializace Softwarové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Systémové programování, verze od 2020 (volitelný předmět)
• Mgr. specializace Webové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Znalostní inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2020 (volitelný předmět)
• Mgr. program, pro fázi studia bez specializace, ver. pro roky 2020 a vyšší (volitelný předmět)
• Master specialization Software Engineering, in English, 2021 (volitelný předmět)
• Master specialization Computer Security, in English, 2021 (volitelný předmět)
• Master specialization Computer Systems and Networks, in English, 2021 (volitelný předmět)
• Master specialization Design and Programming of Embedded Systems, in English, 2021 (volitelný předmět)
• Master specialization Computer Science, in English, 2021 (volitelný předmět)
• Study plan for Ukrainian refugees (volitelný předmět)
• Master Specialization Digital Business Engineering, 2023 (volitelný předmět)
• Mgr. specializace Systémové programování, verze od 2023 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2023 (volitelný předmět)
• Master Programme Informatics, unspecified Specialization, in English, 2021 (volitelný předmět)
• Master specialization Computer Science, in English, 2024 (volitelný předmět)
• Kvantová informatika (volitelný předmět)