Paralelní a distribuované programování

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra počítačových systémů

Anotace:

Diky rozvoji cloudových, webových a komunikačních technologií a přesunu Moorova zákona do úrovně paralelizace CPU se paralelní a distribuované aplikace stávají dominantními.

Studenti se seznámí s architekturami paralelních a distribuovaných výpočetních systémů a s jejich modely a s jazyky a prostředími pro jejich programování. Naučí se důležité paralelní algoritmy a návrhové vzory pro paralelní a distribuované programování.

Požadavky:

Základy sekvenční algoritmizace, programování, znalost jazyka C/C++, teorie složitosti, architektur počítačů a teorie grafů.

Osnova přednášek:

1. Úvod do paralelního a distribuovaného programování

2. Úvod do OpenMP

3. Paralelní algoritmy pro prohledávání stavového prostoru

4. Ladění výkonu v OpenMP

5. Paralelní programování v OpenMP

6. Paralelní řazení v OpenMP

7. Úvod do MPI

8. Paralelní algoritmy v MPI I

9. Distribuované paralelní architektury a komunikační sítě.

10. Komunikační algoritmy

11. Paralelní algoritmy v OpenMP/MPI II

12. MapReduce frameworky (principy, Hadoop, Spark,..)

Osnova cvičení:

1. Návrh a implementace sekvenčního algoritmu pro řešení semestrální úlohy.

2. Návrh a implementace paralelního algoritmu pro vícejádrový systém s použitím OpenMP - verze s task paralelismem.

3. Návrh a implementace paralelního algoritmu pro vícejádrový systém s použitím OpenMP - verze s datovým paralelismem.

4. Návrh a implementace paralelního algoritmu pro distribuovaný klastr s použitím MPI.

5. Teoretická a praktická analýza chování paralelního programu a vypracování technické zprávy.

Cíle studia:

Diky rozvoji cloudových, webových a komunikačních technologií a přesunu Moorova zákona do úrovně paralelizace CPU se paralelní a distribuované aplikace stávají dominantními.

Studenti se seznámí s architekturami paralelních a distribuovaných výpočetních systémů a s jejich modely a s jazyky a prostředími pro jejich programování. Naučí se důležité paralelní algoritmy a návrhové vzory pro paralelní a distribuované programování.

Studijní materiály:

[1] Mattson, T.G. - Sanders, B.A. - Massingill, B.L.: Patterns for Parallel Programming. Addison-Wesley Professional. 2004. 978-0321940780.

[2] Kumar, V. - Grama, A. - Gupta, A. - Karpis, G.: Introduction to Parallel Computing: Design and Analysis of Parallel Algorithms. Benjamin-Cummings. 1994. 0805331700.

[3] Miller, R. - Boxer, L.: Algorithms Sequential and Parallel: A Unified Approach. Pearson Education. 1999. 0130863734.

[4] Wilkinson, B. - Allen, M.: Parallel Programming: Techniques and Applications Using Networked Workstations and Parallel Computers. Prentice Hall. 1998. 0136717101.

[5] Jaja, J.: An Introduction to Parallel Algorithms. Addison-Wesley. 1992. 0201548569.

Poznámka:

Tento předmět obsahově navazuje na bakalářský předmět Algoritmy a grafy 1

Další informace:

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Počítačová bezpečnost, verze 2020 (povinný předmět programu)
• Návrh a programování vestavných systémů, verze 2020 (povinný předmět programu)
• Počítačové systémy a sítě, verze 2020 (povinný předmět programu)
• Manažerská informatika, verze 2020 (povinný předmět programu)
• Softwarové inženýrství, verze 2020 (povinný předmět programu)
• Systémové programování, verze 2020 (povinný předmět programu)
• Webové inženýrství, verze 2020 (povinný předmět programu)
• Znalostní inženýrství, verze 2020 (povinný předmět programu)
• Specializace Teoretická informatika, verze 2020 (povinný předmět programu)
• Magisterský program Informatika, plán pro studenty bez specializace, verze 2020 (povinný předmět programu)