Detekce anomalit v log datech

• Název práce v češtině: Detekce anomalit v log datech
• Název v anglickém jazyce: Anomaly Detection on Log Data
• Klíčová slova: strojové učení|monitorování systému|analýza logu|neuronové sítě|LSTM|PCA
• Klíčová slova anglicky: Log Data|Anomaly Detection|Machine Learning|Neural Networks|LSTM|PCA
• Akademický rok vypsání: 2020/2021
• Typ práce: diplomová práce
• Jazyk práce: čeština
• Ústav: Katedra teoretické informatiky a matematické logiky (32-KTIML)
• Vedoucí / školitel: Mgr. Marta Vomlelová, Ph.D.
• Řešitel: skrytý - zadáno a potvrzeno stud. odd.
• Datum přihlášení: 15.01.2021
• Datum zadání: 16.02.2021
• Datum potvrzení stud. oddělením: 03.03.2021
• Datum a čas obhajoby: 02.09.2021 09:00
• Datum odevzdání elektronické podoby: 22.07.2021
• Datum odevzdání tištěné podoby: 22.07.2021
• Datum proběhlé obhajoby: 02.09.2021
• Oponenti: Mgr. Martin Pilát, Ph.D.

Zásady pro vypracování

Systémový log obsahuje informace užitečné pro diagnostiku systému, nicméně množství záznamů není možné vyhodnotit bez automatického zpracování.

Student provede rešerši prací analyzujících systémové logy, se zaměřením na práce analyzující Hadoop Distributed File System data. Popíše používané modely, Long Short-Term Memory model, možné alternativy a rozšíření (např. pro v čase proměnlivá data). S ohledem na vlastní data navrhne model, který naučí a analyzuje jeho úspěšnost. Konzultace ohledně živých dat nabízí Ing. Jiří Kanda z Havit, s.r.o..

Seznam odborné literatury

Xu Zhang & all. 2019. Robust log-based anomaly detection on unstable log data. In Proceedings of the 2019 27th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering (ESEC/FSE 2019). Association for Computing Machinery, New York, NY, USA, 807–817. DOI:https://doi.org/10.1145/3338906.3338931

Min Du, Feifei Li, Guineng Zheng, and Vivek Srikumar. 2017. DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning. In Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security (CCS '17). Association for Computing Machinery, New York, NY, USA, 1285–1298. DOI:https://doi.org/10.1145/3133956.3134015

T. Jia, L. Yang, P. Chen, Y. Li, F. Meng and J. Xu, "LogSed: Anomaly Diagnosis through Mining Time-Weighted Control Flow Graph in Logs," 2017 IEEE 10th International Conference on Cloud Computing (CLOUD), Honolulu, CA, 2017, pp. 447-455, doi: 10.1109/CLOUD.2017.64.