Big Data nástroje a architektura

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra softwarového inženýrství

Anotace:

Prakticky zaměřený předmět, po jehož absolvování bude student rozumět základním nástrojům a postupům používaných v moderních Big Data úložištích – Lakehousech. Student bude mít základní znalost o integraci na ostatní systémy (konzumace dat i jejich poskytování), bude chápat architekturu moderních analytických platforem s ohledem na byznysový model dat, data governance, orchestraci a aktualizaci dat. Kurz dále představí distribuovaný výpočetní framework Spark, nástroje pro správu modelů strojového učení (MLOps) a vizualizaci dat.

Požadavky:

Znalost SQL databází výhodou.

Osnova přednášek:

1. Základní popis a evoluce DWH, Data Lake, Lakehouse, PaaS, IaaS, Business Driven Development

2. Datové zdroje, jejich výhody: fronty (Kafka, Event Hub), object storage, JDBC, některé integrační vzory

3. Návrh Lakehouse systému, vrstvy medallion architektury, jejich určení

4. Vytvoření Core Business modelu v Silver, fyzický model, DDL SQL, dbt

5. Data governance: bezpečnost, modely sdílení, citlivost, kvalita, data lineage

6. Datové toky, Spark processing, škálování, dopady distribuovaného výpočtu

7. Orchestrace: různé přístupy, change data capture. Nástroje: Airflow, Delta Live Tables, Dagster

8. NoSQL, Key-Value stores (CosmosDB, Redis Cache), Operational Data Store

9. MLOps - verzování, monitoring ML modelů, jejich orchestrace

10. Prezentace a vizualizace dat: PowerBI

Osnova cvičení:

Cíle studia:

Cílem předmětu je studenty seznámit s moderním technologickým přístupy a nástroji pro práci s velkými daty.

Studijní materiály:

Doporučená literatura:

[1] Bill Inmon, Building the Data Lakehouse

[2] The Big Book of Data Engineering 2nd Edition - A collection of technical blogs, including code samples and notebooks

Poznámka:

Další informace:

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů: