Advanced Big Data technologies - NDBI041

• Title: Pokročilé Big Data technologie
• Guaranteed by: Department of Software Engineering (32-KSI)
• Faculty: Faculty of Mathematics and Physics
• Actual: from 2013 to 2018
• Semester: winter
• E-Credits: 6
• Hours per week, examination: winter s.:2/2, C+Ex [HT]
• Capacity: unlimited
• Min. number of students: unlimited
• 4EU+: no
• Virtual mobility / capacity: no
• State of the course: taught
• Language: Czech
• Teaching methods: full-time
• Teaching methods: full-time
• Guarantor: RNDr. Leo Galamboš, Ph.D.
• Classification: Informatics > Database Systems

Annotation

Last update: T_KSI (13.05.2013)

Přednáška se bude zabývat teoretickými základy moderních Big Data technologií a praktickým přístupem ke zpracováni velkých datových objemů. Cvičení bude orientováno na praktické vyzkoušeni jednotlivých technologií na rozsahlých realných datech. V rámci předmětu bude student realizovat vlastní projekt v oblasti Big Data.

Syllabus

Last update: T_KSI (13.05.2013)

1. Ukladáni dat

• Rozdíly mezi klasickými RDBMS, sloupcovými bázemi a NoSQL. C-store, MongoDB, CouchDB, Cassandra, HBase.

• Optimalizace a efektivita přístupu k datům.

2. Zpracování dat

• Zpracování proudu dat, napojení datawarehouse systému: Linkedin/Kafka, Twitter/Storm.

• Dávková zpracování dat: problematika Hadoop-u, efektivita zpracování.

• Sdílení zdrojů, optimalizace: YARN, Corona, Mesos.

• Řešení dotazů nad velkými daty: Drill & Dremel.

3. Analýza dat

• Nizkoúrovňové zpracování: Hadoop a map&reduce.

• Data warehouse: Pig, Hive, Shark, RHadoop, RHive, RHIPE.

• Klasifikace textů, clustering, pattern mining: Mahout.

• Analýza grafových struktur a vztahů mezi objekty: Giraph, GoldenOrb, Gremlin.