Pokročilé zpracování dat pro moderní HPC - NFPL041

• Anglický název: Advanced data manipulation for modern HPC
• Zajišťuje: Katedra fyziky kondenzovaných látek (32-KFKL)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2022
• Semestr: zimní
• E-Kredity: 5
• Rozsah, examinace: zimní s.:2/2, Z+Zk [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: vyučován
• Jazyk výuky: čeština, angličtina
• Způsob výuky: prezenční
• Způsob výuky: prezenční
• Garant: Ing. Dominik Legut, Ph.D.

Anotace

čeština

Poslední úprava: Mgr. Kateřina Mikšová (10.06.2022)

Tento předmět připraví uchazeče na práci s daty. A to nejen na superpočítači, ale i ty které se generují v jeho každodením studiu. Rovněž dovolí zpracovávat data bez ohledu zda má milion řadků či milion sloupců či velikost datových souborů je víc než GBi.

angličtina

Poslední úprava: Mgr. Kateřina Mikšová (10.06.2022)

This subject prepares participant for the processing and manipulation large data files. This concerns not only the work with HPC supercomputers, but also to manipulate date of daily life. Participant will learn how to work with files of million lines or million columns or files as large as several GBi.

Podmínky zakončení předmětu

čeština

Poslední úprava: Mgr. Kateřina Mikšová (10.06.2022)

Předmět je zakončen získáním zápočtu a složením zkoušky. Podmínkou pro získání zápočtu je splnění jednotlivých úloh a rovněž záverečného testu a úlohy. Zápočet nelze opakovat. Získání zápočtu je nutnou podmínkou účasti u zkoušky.

angličtina

Poslední úprava: Mgr. Kateřina Mikšová (10.06.2022)

The course is completed by passing credits and oral exam. To participate in the exam it is necessary to complete the credit. To obtain the credit active participation is required. Each student has to solve a number of problems assigned by the supervisor. Due to these conditions it is not possible to attempt to obtain the credit for the second time in semester. Exam requirements follow the subject syllabus as presented during lectures.

Literatura

čeština

Poslední úprava: Mgr. Kateřina Mikšová (10.06.2022)

Povinná literatura

http://www.ucw.cz/~hubicka/skolicky/
http://www.abclinuxu.cz/clanky/navody/bash-i

P. Satrapa, Necortex 2001, ISBN:80-86330-02-82.

Doporučená literatura
https://www.regularnivyrazy.info/regularni-vyrazy-zaklady.html#.Wtl3ada-kWM

angličtina

Poslední úprava: Mgr. Kateřina Mikšová (10.06.2022)

Compulsory literature

http://becksteinlab.physics.asu.edu/pages/unix/IntroUnix/vim_basics.html for unix and vi, sed etc.

http://cs.lmu.edu/~ray/notes/bash/ for bash

https://www.tutorialspoint.com/awk/index.htm for awk

Recommended literature
http://www.well.ox.ac.uk/~johnb/comp/perl/intro.html

Sylabus

čeština

Poslední úprava: Mgr. Kateřina Mikšová (10.06.2022)

Tento předmět připraví uchazeče na práci s daty na superpočítači a rovněž dovolí zpracovávat data bez ohledu

zda má milion řadků či milion sloupců či několika GBi soubor.

1. Unixové (linuxové) příkazy pro manipulaci dat a složek v příkazovém řádku

2. Píšeme v unixu, Vi-editor, Nano, midnight commander atd.

3. Úvod do skriptovaní v Bash, for and while loops, atd.

4. Úvod do Awk, manipulace dat

5. Jak na matematiku v příkazovém řádku

6. Awk, formáty dat, vstupy a výstupy

7. Základy Ed a Sed

8. Rozšířenější možnosti - Úvod do Perlu

9. Perl II

10. Regulární výrazy I

11. Regulární výrazy II

12. Manipulace dat z a na HPC systémech, přenos displeje atd., použití plánovače HPC infrastruktury atd.

13. - 14. Praktické úlohy

angličtina

Poslední úprava: Mgr. Kateřina Mikšová (10.06.2022)

This subject prepares participant for the processing and manipulation large data files and prepares to work with

HPC supercomputers. Participatn will learn to work with files of million lines or columns or files as large as

several GBi.

1. Unix(linux) commands for data manipulation in command line prompt

2. Handling text data and editing in unix, Vi-editor, Nano, midnight commander etc.

3. Introduction to scripting in Bash, for and while loops, etc.

4. Introduction to Awk, manipulation of data

5. How to exploit simple mathematics in command line

6. Awk, formats of data I/O (formated input and output)

7. Basics of Ed and Sed, replacing strings, more complex constructions

8. Advance methods - Introduction to Perl

9. Perl II

10. Regular syntax I

11. Regular synax II

12. Data manipulation to and from HPC systems, dispaly forwarding, usage of scheduler and batch jobs

13. - 14. Practical sessions