Paralelní a distribuované programování
| Kód | Zakončení | Kredity | Rozsah | Jazyk výuky |
|---|---|---|---|---|
| NI-PDP | Z,ZK | 6 | 2P+2C | česky |
- Garant předmětu:
- Pavel Tvrdík
- Přednášející:
- Pavel Tvrdík
- Cvičící:
- Ivan Šimeček, Michal Šoch, Pavel Tvrdík
- Předmět zajišťuje:
- katedra počítačových systémů
- Anotace:
-
21. století v architekturách počítačů je dominantně ovlivněno posunem Moorova zákona do paralelizace CPU na úrovni výpočetních jader. Paralelní výpočetní systémy se tak stávají na této úrovni počítačových architektur běžně dostupnou komoditou a paralelní programování se stává základním paradigmatem vývoje efektivních aplikací na těchto platformách. Studenti se v tomto předmětu seznámí s architekturami paralelních a distribuovaných výpočetních systémů, s jejich modely, s teorií propojovacích sítí a kolektivních komunikačních operací a s jazyky a prostředími pro paralelní programování počítačů se sdílenou a distribuovanou pamětí. Seznámí se s fundamentálními paralelními algoritmy a na vybraných problémech se naučí techniky návrhu efektivních a škálovatelných paralelních algoritmů a metod hodnocení výkonnosti jejich implementací. Součástí výuky je i projekt praktického programování v OpenMP a MPI pro řešení zadaného netriviálního problému.
- Požadavky:
-
Základy sekvenční algoritmizace, programování, znalost jazyka C/C++, teorie složitosti, architektur počítačů, teorie grafů.
- Osnova přednášek:
-
1. Úvod do paralelního a distribuovaného programování.
2. Úvod do OpenMP.
3. Paralelní algoritmy pro prohledávání stavového prostoru.
4. Programování a ladění výkonu v OpenMP.
5. Paralelní řazení v OpenMP.
6. Úvod do MPI.
7. Propojovací sítě paralelních počítačů I.
8. Propojovací sítě paralelních počítačů II.
9. Kolektivní komunikační algoritmy.
10. Paralelní redukce a sken. Paralelní I/O.
11. Paralelní algoritmy v OpenMP/MPI I.
12. Paralelní algoritmy v OpenMP/MPI II.
- Osnova cvičení:
-
1. Návrh a implementace sekvenčního algoritmu pro řešení semestrální úlohy.
2. Návrh a implementace paralelního algoritmu pro vícejádrový systém s použitím OpenMP - verze s task paralelismem.
3. Návrh a implementace paralelního algoritmu pro vícejádrový systém s použitím OpenMP - verze s datovým paralelismem.
4. Návrh a implementace paralelního algoritmu pro distribuovaný klastr s použitím MPI.
5. Teoretická a praktická analýza chování paralelního programu a vypracování technické zprávy.
- Cíle studia:
-
21. století v architekturách počítačů je dominantně ovlivněno posunem Moorova zákona do paralelizace CPU na úrovni výpočetních jader. Paralelní výpočetní systémy se tak stávají na této úrovni počítačových architektur běžně dostupnou komoditou a paralelní programování se stává základním paradigmatem vývoje efektivních aplikací na těchto platformách. Studenti se v tomto předmětu seznámí s architekturami paralelních a distribuovaných výpočetních systémů, s jejich modely, s teorií propojovacích sítí a kolektivních komunikačních operací a s jazyky a prostředími pro paralelní programování počítačů se sdílenou a distribuovanou pamětí. Seznámí se s fundamentálními paralelními algoritmy a na vybraných problémech se naučí techniky návrhu efektivních a škálovatelných paralelních algoritmů a metod hodnocení výkonnosti jejich implementací. Součástí výuky je i projekt praktického programování v OpenMP a MPI pro řešení zadaného netriviálního problému.
- Studijní materiály:
-
[1] Mattson, T.G. - Sanders, B.A. - Massingill, B.L.: Patterns for Parallel Programming. Addison-Wesley Professional. 2004. 978-0321940780.
[2] Kumar, V. - Grama, A. - Gupta, A. - Karpis, G.: Introduction to Parallel Computing: Design and Analysis of Parallel Algorithms. Benjamin-Cummings. 1994. 0805331700.
[3] Miller, R. - Boxer, L.: Algorithms Sequential and Parallel: A Unified Approach. Pearson Education. 1999. 0130863734.
[4] Wilkinson, B. - Allen, M.: Parallel Programming: Techniques and Applications Using Networked Workstations and Parallel Computers. Prentice Hall. 1998. 0136717101.
[5] Jaja, J.: An Introduction to Parallel Algorithms. Addison-Wesley. 1992. 0201548569.
- Poznámka:
- Další informace:
- https://courses.fit.cvut.cz/MI-PDP/
- Rozvrh na zimní semestr 2023/2024:
- Rozvrh není připraven
- Rozvrh na letní semestr 2023/2024:
-
06:00–08:0008:00–10:0010:00–12:0012:00–14:0014:00–16:0016:00–18:0018:00–20:0020:00–22:0022:00–24:00
Po Út St Čt Pá - Předmět je součástí následujících studijních plánů:
-
- Mgr. specializace Počítačová bezpečnost, 2020 (povinný předmět programu)
- Mgr. specializace Návrh a programování vestavných systémů, 2020 (povinný předmět programu)
- Mgr. specializace Počítačové systémy a sítě, 2020 (povinný předmět programu)
- Mgr. specializace Manažerská informatika, 2020 (povinný předmět programu)
- Mgr. specializace Softwarové inženýrství, 2020 (povinný předmět programu)
- Mgr. specializace Systémové programování, verze od 2020 (povinný předmět programu)
- Mgr. specializace Webové inženýrství, 2020 (povinný předmět programu)
- Mgr. specializace Znalostní inženýrství, 2020 (povinný předmět programu)
- Mgr. specializace Teoretická informatika, 2020 (povinný předmět programu)
- Mgr. program, pro fázi studia bez specializace, ver. pro roky 2020 a vyšší (povinný předmět programu)
- Mgr. specializace Systémové programování, verze od 2023 (povinný předmět programu)
- Mgr. specializace Teoretická informatika, 2023 (povinný předmět programu)