Introduction to Data Engineering - NDBI046

• Title: Úvod do datového inženýrství
• Guaranteed by: Department of Software Engineering (32-KSI)
• Faculty: Faculty of Mathematics and Physics
• Actual: from 2023
• Semester: summer
• E-Credits: 5
• Hours per week, examination: summer s.:2/2, C+Ex [HT]
• Capacity: unlimited
• Min. number of students: unlimited
• 4EU+: no
• Virtual mobility / capacity: no
• State of the course: taught
• Language: Czech, English
• Teaching methods: full-time
• Additional information: https://www.ksi.mff.cuni.cz/teaching/ndbi046-web/
• Guarantor: Mgr. Petr Škoda, Ph.D.
• Incompatibility : NDBX046
• Interchangeability : NDBX046
• Is incompatible with: NDBX046
• Is interchangeable with: NDBX046

Annotation

English

The goal of the Data Management course is to give an overview of commonly used operations and techniques in a typical data processing process. This includes data retrieval, cleaning, transformation, validation, catalogization, versioning, documentation, publication via API, integration, search, compression, encryption, and working with large and distributed data.

Last update: Kopecký Michal, RNDr., Ph.D. (09.09.2020)

Czech

Cílem předmětu je seznámit studenty se základy práce s daty a s běžnými operacemi v typickém procesu zpracování dat. To zahrnuje získání dat, jejich čištění, transformace, validace, katalogizace, verzování, popis, zpřístupnění skrze API, integraci, vyhledávání, kompresi, šifrování a práci s velkými a distribuovanými daty.

Last update: Zavoral Filip, RNDr., Ph.D. (10.02.2023)

Course completion requirements

English

During the semester there will be homework assignments for credit.

The final exam is a written test.

Last update: Škoda Petr, Mgr., Ph.D. (16.01.2024)

Czech

V průběhu semestru jsou postupně zadávány a hodnoceny domácí úkoly, za které je zápočet.

Zkouška je formou písemného testu.

Last update: Škoda Petr, Mgr., Ph.D. (16.01.2024)

Requirements to the exam

English

Getting homework credit is a prerequisite for the final exam.

Last update: Škoda Petr, Mgr., Ph.D. (04.08.2020)

Czech

Získání zápočtu je nutnou podmínkou k účasti na závěrečné zkoušce.

Last update: Škoda Petr, Mgr., Ph.D. (04.08.2020)

Syllabus

English

Data types and models

Data preprocessing

Data catalogization, metadata, data versioning

Data integration

Data vocabulary, ontology

Data APIs

Text search

Information theory

Data encoding and compression

Encryption and ensuring integrity

Management of distributed and large data

Last update: Škoda Petr, Mgr., Ph.D. (04.08.2020)

Czech

Datové typy a modely

Předzpracování dat

Katalogizace dat, metadata, verzování dat

Integrace dat

Datový slovník, popis významu dat, ontologie

Datová API

Vyhledávání v textových datech

Teorie informace

Kódování a komprese dat

Šifrování a zajištění integrity

Management distribuovaných a velkých dat

Last update: Škoda Petr, Mgr., Ph.D. (04.08.2020)

Entry requirements

English

The course expects working knowledge from NPRG036 (Data Formats) course.

Last update: Škoda Petr, Mgr., Ph.D. (27.04.2021)

Czech

Předmět předpokládá znalosti přednášené v NPRG036 (Datové formáty).

Last update: Škoda Petr, Mgr., Ph.D. (27.04.2021)