DB technologie pro Big Data

Garant předmětu:

Josef Gattermayer

Přednášející:

Josef Gattermayer

Cvičící:

Josef Gattermayer

Předmět zajišťuje:

katedra softwarového inženýrství

Anotace:

Studenti budou uvedeni do oboru zpracování velkých dat (Big Data), kde se dnes typicky používají nerelační (NoSQL) databázové stroje. Předmět je zaměřen prakticky, aby studenti po jeho absolvování byli schopni vybrat vhodné nástroje (většinou open source) a postupy, navrhnout a implementovat jednodušší opakovatelný proces zpracování dat (sběr dat, transformace/agregace, prezentace). Studenti budou seznámeni s různými architekturami pro zpracování a uložení velkých dat. Teoretický výklad a prezentace konkrétních technologií budou doplněny případovými studiemi.

Požadavky:

Vstupní znalosti: Základní znalost relačních databází, práce s příkazovou řádkou.

Osnova přednášek:

1. Úvod do zpracování velkých dat, pojem Big Data a jeho vymezení, CAP teorém.

2. Případová studie.

3. [2] Sloupcové (column-oriented) databázové stroje (Cassandra).

5. Dokumentově orientované databáze (MongoDB).

6. [2] Platformy pro zpracování velkých dat založené na předávání dat přes souborový systém (Hadoop).

8. [2] Platformy pro zpracování velkých dat založené na předávání dat přes operační paměť (Spark).

10. Indexování nestrukturovaných a semistrukturovaných dat (ElasticSearch, Solr).

11. Nástroje pro vizualizaci a prezentaci dat (Kibana).

12. [2] Případové studie.

Osnova cvičení:

1. Seznámení s prostředím laboratoře

2. Úvod do práce s Cassandra Clusterem

3. Hadoop MapReduce

4. Cassandra UseCase 1 - 1. část

5. Cassandra UseCase 1 - 2. část

6. Cassandra UseCase 2 - 1. část (Využití Hive / Pig)

7. Cassandra UseCase 2 - 1. část

8. Cassandra UseCase 3 - 1. část (Využíti Solr)

9. Cassandra UseCase 3 - 2. část

10. Cassandra UseCase 4 - 1. část (Komplexní řešení)

11. Cassandra UseCase 4 - 2. část

12. Odevzdání semestrální práce, zápočet

13. Rezerva

Cíle studia:

Studijní materiály:

Zikopoulos, Paul, and Chris Eaton. Understanding big data: Analytics for enterprise class hadoop and streaming data. McGraw-Hill Osborne Media, 2011.

Poznámka:

Informace o předmětu a výukové materiály naleznete na https://courses.fit.cvut.cz/BI-BIG/

Další informace:

https://courses.fit.cvut.cz/BI-BIG/

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Bc. specializace Počítačové systémy a virtualizace, kombi., 2021 (povinně volitelný předmět)