DB technologie pro Big Data

Garant předmětu:

Monika Borkovcová

Přednášející:

Monika Borkovcová, Josef Gattermayer

Cvičící:

Monika Borkovcová, Jan Matoušek

Předmět zajišťuje:

katedra softwarového inženýrství

Anotace:

Studenti se seznámí s oborem zpracování velkých dat. Velká data jsou taková data, které již klasické relační databáze nejsou schopné zpracovat, přitom jejich realtime zpracováním vznikne informace, která má rozhodující cenu např. v konkurenčním boji.

Předmět je zaměřen velice prakticky, studenti si osvojí nejpoužívanější průmyslové technologie - Apache Big Data Stack, neboli Apache Cassandra, Apache Hadoop, Apache Solr a další. Teoretický základ z přednášek seznámí studenty s algoritmy používanými v Apache Big Data Stacku.

Prakticky orientovaná cvičení naučí studenty vyvinout nad ním vlastní aplikace.

Požadavky:

Základní znalost relačních databází, práce s příkazovou řádkou.

Osnova přednášek:

1. Úvod do předmětu, co jsou to Big Data

2. NoSQL, Apache Cassandra, úvod a clusterování

3. Hadoop a MapReduce

4. Cassandra Data Model (new and legacy)

5. Cassandra Data Modeling

6. Apache Hive a Pig & Solr

7. Case study 1

8. Cassandra CQL

9. Cassandra JDBC a Thrift client

10. Case study 2

11. Optimalizace výkonu

12. Case study 3

13. Rezerva

Osnova cvičení:

1. Seznámení s prostředím laboratoře

2. Úvod do práce s Cassandra Clusterem

3. Hadoop MapReduce

4. Cassandra UseCase 1 - 1. část

5. Cassandra UseCase 1 - 2. část

6. Cassandra UseCase 2 - 1. část (Využití Hive / Pig)

7. Cassandra UseCase 2 - 1. část

8. Cassandra UseCase 3 - 1. část (Využíti Solr)

9. Cassandra UseCase 3 - 2. část

10. Cassandra UseCase 4 - 1. část (Komplexní řešení)

11. Cassandra UseCase 4 - 2. část

12. Odevzdání semestrální práce, zápočet

13. Rezerva

Cíle studia:

Studijní materiály:

Zikopoulos, Paul, and Chris Eaton. Understanding big data: Analytics for enterprise class hadoop and streaming data. McGraw-Hill Osborne Media, 2011.

Poznámka:

Informace o předmětu a výukové materiály naleznete na https://courses.fit.cvut.cz/BI-BIG/

Další informace:

https://courses.fit.cvut.cz/BI-BIG/

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Bc. program Informatika, pro fázi studia bez oboru, 2015-2020 (VO)
• Bc. obor Bezpečnost a informační technologie, 2015-2020 (volitelný předmět)
• Bc. obor Teoretická informatika, 2015-2020 (volitelný předmět)
• Bc. obor Počítačové inženýrství, 2015-2020 (volitelný předmět)
• Bc. obor Informační systémy a management, 2015-2020 (volitelný předmět)
• Bc. obor Webové a softwarové inženýrství, zaměření Softwarové inženýrství, 2015-2020 (volitelný předmět)
• Bc. obor Webové a softwarové inženýrství, zaměření Webové inženýrství, 2015-2020 (povinný předmět zaměření)
• Bc. obor Webové a softwarové inženýrství, zaměření Počítačová grafika, 2015-2020 (volitelný předmět)
• Bc. obor Znalostní inženýrství, 2018-2020 (povinný předmět oboru)
• Bc. obor Webové a softwarové inženýrství, zaměření Počítačová grafika, dojížďáci (Dubin) (volitelný předmět)