DB technologie pro Big Data

Garant předmětu:

Monika Borkovcová

Přednášející:

Monika Borkovcová

Cvičící:

Monika Borkovcová, Jan Matoušek

Předmět zajišťuje:

katedra softwarového inženýrství

Anotace:

Studenti budou uvedeni do oboru zpracování velkých dat (Big Data), kde se dnes typicky používají nerelační (NoSQL) databázové stroje. Předmět je zaměřen prakticky, aby studenti po jeho absolvování byli schopni vybrat vhodné nástroje (většinou open source) a postupy, navrhnout a implementovat jednodušší opakovatelný proces zpracování dat (sběr dat, transformace/agregace, prezentace). Studenti budou seznámeni s různými architekturami pro zpracování a uložení velkých dat. Teoretický výklad a prezentace konkrétních technologií budou doplněny konkrétními příklady z praxe.

Požadavky:

Základní znalost relačních databází, práce s příkazovou řádkou, doporučená je znalost technologie Docker.

Osnova přednášek:

1. Úvod do předmětu, distribuovaná řešení, základní pojmy (Big Data, cluster, distribuované file systémy, CAP teorém,...)

2. NoSQL databáze klíč-hodnota

3. NoSQL databáze dokumentové

4. NoSQL databáze sloupcové

5. NoSQL databáze grafové

6-7. The Elastic Stack (Elasticsearch, Beats, Logstash, Kibana)

8. Ekosystém Hadoop (Hadoop,Map Reduce, HDFS, YARN)

9. Apache Spark

10. Data Science a využití jazyka Python pro datovou analytiku a jeho možnosti

11. Zvaná přednáška

12. Klasifikovaný zápočet část I.

13. Klasifikovaný zápočet část I.

Osnova cvičení:

1. Seznámení s prostředím laboratoře, docker, kontejnery, práce s clustrem, docker-compose

2. Základy Redis

3. Základy MongoDB

4. Základy Apache Cassandra

5. Základy Neo4j

6-7. The Elastic Stack

8. Základy práce s Apache Spark, využití jazyku Scala

9. Datová analýza pomocí Python

11. Konzultace k semestrální práci

12. Klasifikovaný zápočet část II. část

13. Klasifikovaný zápočet část II. část

Cíle studia:

Po absolvování tohoto předmětu bude student schopen rozlišit jednotlivé typy noSQL databází a práci s Big Data. Bude umět navrhnout a realizovat vhodné řešení pro různé případy užití. Osvojí si v mírně pokročilé úrovni práci s NoSQL databázemi typu key-value, dokumentovými, sloupcovými a grafovými. Součástí praktických i teoretických poznatků je i ekosystém The Elastic Stack a základní přehled v ekosystému Hadoop (Map Reduce, HDFS, YARN, Apache Spark). V rámci výuky se student seznámí i s možnostmi vizualizace dat a procesem čištění a transformace různých datových sad.

Studijní materiály:

1. Holubová Irena, Minařík Karel, Novák David, Kosek Jiří. Big Data a NoSQL databáze. 2015. ISBN 978-80-247-5466-6.

2. Meier A., Kaufmann M. : SQL & NoSQL Databases. Springer, 2019. ISBN 978-3-658-24549-8.

3. Bradshaw S., Brazil E., Chodorow Ch. : MongoDB: The Defnitive Guide: Powerful and Scalable Data Storage. O'Reilly Media, 2019. ISBN 9781491954461.

4. Pokorný, Jaroslav a Valenta, Michal. Databázové sytémy. 2. přepracované vydání. Praha: Česká technika - nakladatelství ČVUT, 2020. ISBN 978-80-01-06696-6.

5 . https://redis.io

6. https://cassandra.apache.org/

7. https://neo4j.com/

8. https://www.mongodb.com/

9. https://www.elastic.co/

Poznámka:

This course is presented in Czech.

Další informace:

https://courses.fit.cvut.cz/BI-BIG/

Rozvrh na zimní semestr 2025/2026:

	06:00–08:0008:00–10:0010:00–12:0012:00–14:0014:00–16:0016:00–18:0018:00–20:0020:00–22:0022:00–24:00
Po
Út
St
Čt	místnost T9:345 Matoušek J. 07:30–09:00 (přednášková par. 1 paralelka 101) Dejvice NBFIT BOU ucebnamístnost JP:B-571 Borkovcová M. 16:15–17:45 (přednášková par. 1) Jugoslávských partyzánů 3 místnost T9:345 Matoušek J. 09:15–10:45 (přednášková par. 1 paralelka 102) Dejvice NBFIT BOU ucebnamístnost T9:345 Matoušek J. 11:00–12:30 (přednášková par. 1 paralelka 103) Dejvice NBFIT BOU ucebna
Pá

Rozvrh na letní semestr 2025/2026:

	06:00–08:0008:00–10:0010:00–12:0012:00–14:0014:00–16:0016:00–18:0018:00–20:0020:00–22:0022:00–24:00
Po
Út
St
Čt	místnost T9:345 Borkovcová M. 14:30–16:00 (přednášková par. 1 paralelka 101) Dejvice NBFIT BOU ucebnamístnost T9:107 Borkovcová M. 18:00–19:30 (přednášková par. 1) Dejvice Posluchárna místnost T9:345 Borkovcová M. 16:15–17:45 (přednášková par. 1 paralelka 102) Dejvice NBFIT BOU ucebna
Pá

Předmět je součástí následujících studijních plánů:

• Bc. specializace Informační bezpečnost, 2021 (volitelný předmět)
• Bc. specializace Manažerská informatika, 2021 (volitelný předmět)
• Bc. specializace Počítačová grafika, 2021 (volitelný předmět)
• Bc. specializace Počítačové inženýrství, 2021 (volitelný předmět)
• Bc. program, pro fázi studia bez specializace, 2021 (VO)
• Bc. specializace Webové inženýrství, 2021 (PS)
• Bc. specializace Umělá inteligence, 2021 (povinně volitelný předmět, volitelný předmět)
• Bc. specializace Teoretická informatika, 2021 (volitelný předmět)
• Bc. specializace Softwarové inženýrství, 2021 (volitelný předmět)
• Bc. specializace Počítačové systémy a virtualizace, 2021 (povinně volitelný předmět, volitelný předmět)
• Bc. specializace Počítačové sítě a Internet, 2021 (volitelný předmět)
• Bc. specializace Informační bezpečnost, 2024 (volitelný předmět)
• Bc. program, pro fázi studia bez specializace, 2024 (VO)
• Bc. specializace Manažerská informatika, 2024 (volitelný předmět)
• Bc. specializace Počítačová grafika, 2024 (volitelný předmět)
• Bc. specializace Softwarové inženýrství, 2024 (volitelný předmět)
• Bc. specializace Webové inženýrství, 2024 (PS)
• Bc. specializace Počítačové sítě a Internet, 2024 (volitelný předmět)
• Bc. specializace Počítačové inženýrství, 2024 (volitelný předmět)
• Bc. specializace Počítačové systémy a virtualizace, 2024 (povinně volitelný předmět, volitelný předmět)
• Bc. specializace Umělá inteligence, 2024 (povinně volitelný předmět, volitelný předmět)
• Bc. specializace Teoretická informatika, 2024 (volitelný předmět)
• Bc. specializace Počítačová grafika s vynecháním BI-SVZ (volitelný předmět)