Informatika 4

Garant předmětu:

Jan Pytel

Přednášející:

Jan Pytel

Cvičící:

Jan Pytel

Předmět zajišťuje:

Katedra geomatiky

Anotace:

V rámci předmětu jsou studenti seznámeni s technikami zpracování velkého množství dat. Nejprve se naučí jak předzpracovávat data v příkazovém řádku před importem do DB. Důraz je kladen na relační databáze a témata, která nebyla zmíněna během předmětu Informatika 2: indexy, exekuční plány, partitioning. Poté studenti dostanou základní informace o NoSQL databázích, ElasticSearch, R a cloudu.

Požadavky:

Informatika 2 a Informatika 3

Osnova přednášek:

1. BigData - vývoj a koncept

2. Preprocesing dat v příkazovém řádku

3. Preprocesing dat v příkazovém řádku 2

4. Relační databáze - indexy, partitioning, ladění výkonu ACID

5. NoSQL databáze - koncept, odlišný přitup oproti relačním databázím

6. NoSQL databáze - Apache Cassandra

7. NoSQL databáze - grafové databáze (Neo4j), dokumentově orientované databáze

8. Základy cloudu

9. Instalace NoSQL databáze do cloudu - praktická ukázka redundance, CAP Theorem

10. Apache ekosystém I: Hadoop, HBase, Sparc, Pig

11. Fultextový vyhledávač ElasticSearch a

12. Statistický jazyk R - využití při zpracování velkého množství dat

13. Statistický jazyk R - spojení s Apache Spark, praktické ukázky

Osnova cvičení:

1. BigData - vývoj a koncept

2. Preprocesing dat v příkazovém řádku

3. Preprocesing dat v příkazovém řádku 2

4. Relační databáze - indexy, partitioning, ladění výkonu ACID

5. NoSQL databáze - koncept, odlišný přitup oproti relačním databázím

6. NoSQL databáze - Apache Cassandra

7. NoSQL databáze - grafové databáze (Neo4j), dokumentově orientované databáze

8. Základy cloudu

9. Instalace NoSQL databáze do cloudu - praktická ukázka redundance, CAP Theorem

10. Apache ekosystém I: Hadoop, HBase, Sparc, Pig

11. Fultextový vyhledávač ElasticSearch a

12. Statistický jazyk R - využití při zpracování velkého množství dat

13. Statistický jazyk R - spojení s Apache Spark, praktické ukázky

Cíle studia:

Cílem předmětu je seznámit studenty s technikami a nástroji pro zpracování velkých objemů dat. Absolventi se budou orientovat v problematice NoSQL databází.

Studijní materiály:

:Apache Cassandra/Hadoop/HBase/Sparc/Pig - http://www.apache.org/

:Neo4j - https://neo4j.com/

:ElasticSearch - https://www.elastic.co/

:Language R - https://www.r-project.org

Poznámka:

Rozvrh na zimní semestr 2023/2024:

Rozvrh není připraven

Rozvrh na letní semestr 2023/2024:

Rozvrh není připraven

Předmět je součástí následujících studijních plánů:

• Geodézie a kartografie, specializace Geomatika (povinně volitelný předmět)