Thesis (Selection of subject)Thesis (Selection of subject)(version: 285)
Assignment details
   Login via CAS
Euphoria API konektor pro runtime Apache Spark streaming
Thesis title in Czech: Euphoria API konektor pro runtime Apache Spark streaming
Thesis title in English: Euphoria API Connector for Runtime Apache Spark Streaming
Key words: Euphoria API, Apache Spark Streaming
English key words: Euphoria API, Apache Spark Streaming
Academic year of topic announcement: 2018/2019
Type of assignment: diploma thesis
Thesis language:
Department: Department of Software Engineering (32-KSI)
Supervisor: doc. RNDr. Irena Holubová, Ph.D.
Author:
Guidelines
V únoru 2017 publikoval Seznam.cz "Euphoria API", framework pro vytváření aplikací zpracovávajících velká data, jako opensource. Klíčovými vlastnostmi Euphoria API jsou:
* nezávislost aplikace na konkrétním běhovém prostředí a infrastruktuře.
* jednotné vyjádření datových operací nad batchovými i streamovými daty.
* Dobrá čitelnost a přehlednost kódu napsaného v Euphoria API.
Aplikace napsaná v Euphoria API je dynamicky přeložena konkrétního běhového prostředí. V současné době Euphoria API funguje společně s Apache Spark (pouze batch) a Apache Flink (batch i stream). Cílem této práce je rozšířit tuto podporu o další technologii, Apache Spark streaming, který má pro určité typy úloh lepší parametry. Výstupem práce bude zdrojový kód adapteru pro Apache Spark streaming společně s funkční ukázkovou aplikací, experimentálním porovnáním výkonu a příklady použití, pro které typy úloh je Spark streaming vhodnější, než např. Apache Flink. Testy bude možné provádět na Hadoop clusteru (desítky až stovky uzlů) a datech robota vyhledávače společnosti Seznam.cz.
References
Euphoria API https://github.com/seznam/euphoria

Apache Spark http://spark.apache.org/

Apache Flink https://flink.apache.org/

Apache Spark Streaming http://spark.apache.org/streaming/
 
Charles University | Information system of Charles University | http://www.cuni.cz/UKEN-329.html