Úvod do datového inženýrství - NDBI046

• Anglický název: Introduction to Data Engineering
• Zajišťuje: Katedra softwarového inženýrství (32-KSI)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2025
• Semestr: letní
• E-Kredity: 5
• Rozsah, examinace: letní s.:2/2, Z+Zk [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: vyučován
• Jazyk výuky: čeština, angličtina
• Způsob výuky: prezenční
• Další informace: https://teaching.mff.cuni.cz/ndbi046-web/
• Garant: Mgr. Petr Škoda, Ph.D.
• Vyučující: Ing. Pavel Koupil, Ph.D.; Mgr. Petr Škoda, Ph.D.
• Neslučitelnost : NDBX046
• Záměnnost : NDBX046
• Je neslučitelnost pro: NDBX046
• Je záměnnost pro: NDBX046

Anotace

čeština

Cílem předmětu je seznámit studenty se základy práce s daty a s běžnými operacemi v typickém procesu zpracování dat. To zahrnuje získání dat, jejich čištění, transformace, validace, katalogizace, verzování, popis, zpřístupnění skrze API, integraci, vyhledávání, kompresi, šifrování a práci s velkými a distribuovanými daty.

Poslední úprava: Zavoral Filip, RNDr., Ph.D. (10.02.2023)

angličtina

The goal of the Data Management course is to give an overview of commonly used operations and techniques in a typical data processing process. This includes data retrieval, cleaning, transformation, validation, catalogization, versioning, documentation, publication via API, integration, search, compression, encryption, and working with large and distributed data.

Poslední úprava: Kopecký Michal, RNDr., Ph.D. (09.09.2020)

Podmínky zakončení předmětu

čeština

V průběhu semestru jsou postupně zadávány a hodnoceny domácí úkoly, za které je zápočet.

Zkouška je formou písemného testu.

Poslední úprava: Škoda Petr, Mgr., Ph.D. (16.01.2024)

angličtina

During the semester there will be homework assignments for credit.

The final exam is a written test.

Poslední úprava: Škoda Petr, Mgr., Ph.D. (16.01.2024)

Požadavky ke zkoušce

čeština

Získání zápočtu je nutnou podmínkou k účasti na závěrečné zkoušce.

Poslední úprava: Škoda Petr, Mgr., Ph.D. (04.08.2020)

angličtina

Getting homework credit is a prerequisite for the final exam.

Poslední úprava: Škoda Petr, Mgr., Ph.D. (04.08.2020)

Sylabus

čeština

• Role a význam datového inženýrství

• OLTP vs. OLAP

• Datová kostka a příslušné operace

• Business intelligence

• Datové tržiště, datový sklad, datové jezero, datové kontrakty

• Modelování pro datový sklad

• Datová pumpa (ETL) a procesy zpracování dat

• Data lineage a provenance

• Datová kvalita, dimenze a metriky

• Frameworky pro správu dat v organizaci

• Metody důvěryhodného a efektivního sdílení dat

• Katalogizace dat, metadata, verzování dat

• Datový slovník, popis významu dat, ontologie

Poslední úprava: Škoda Petr, Mgr., Ph.D. (28.11.2025)

angličtina

• The role of data engineering

• OLTP vs. OLAP

• Data cube and related operations

• Business intelligence

• Data marketplace, data warehouse, data lake, and data contracts

• Data warehouse modeling

• Data pipeline (ETL) and data processing workflows

• Data lineage and provenance

• Data quality, dimensions, and metrics

• Frameworks for data management and data governance

• Methods for trustworthy and efficient data sharing

• Data cataloging, metadata, data versioning

• Data dictionary, data semantics, ontology

Poslední úprava: Škoda Petr, Mgr., Ph.D. (28.11.2025)

Vstupní požadavky

čeština

Předmět předpokládá znalosti přednášené v NPRG036 (Datové formáty).

Poslední úprava: Škoda Petr, Mgr., Ph.D. (27.04.2021)

angličtina

The course expects working knowledge from NPRG036 (Data Formats) course.

Poslední úprava: Škoda Petr, Mgr., Ph.D. (27.04.2021)