Exploring the vulnerabilities of real-life AI systems against adversarial attacks

• Název práce v češtině: Výzkum zranitelnosti reálných systémů umělé inteligence vůči adversariálním útokům
• Název v anglickém jazyce: Exploring the vulnerabilities of real-life AI systems against adversarial attacks
• Klíčová slova: adversariální útoky|hluboké učení|black-box|bezpečnost umělé inteligence
• Klíčová slova anglicky: adversarial attack|deep learning|black-box|AI security
• Akademický rok vypsání: 2021/2022
• Typ práce: bakalářská práce
• Jazyk práce: angličtina
• Ústav: Katedra teoretické informatiky a matematické logiky (32-KTIML)
• Vedoucí / školitel: Mgr. Roman Neruda, CSc.
• Řešitel: Bc. Jakub Hejhal - zadáno a potvrzeno stud. odd.
• Datum přihlášení: 14.05.2021
• Datum zadání: 14.05.2021
• Datum potvrzení stud. oddělením: 08.09.2021
• Datum a čas obhajoby: 10.09.2021 09:00
• Datum odevzdání elektronické podoby: 22.07.2021
• Datum odevzdání tištěné podoby: 22.07.2021
• Datum proběhlé obhajoby: 10.09.2021
• Oponenti: Mgr. Martin Pilát, Ph.D.

Zásady pro vypracování

Cílem práce je navrhnout a implementovat black-box metody generování adversariálních vzorů pro modely hlubokých neuronových sítí klasifikující obrazová data. Student prozkoumá existující black-box metody útoků a zhodnotí jejich účinost vzhledem k reálným AI systémům. Návrh vlastních metod se soustředí na necílené adversariální útoky pracující s omezenou informací poskytovanou komerčními klasifikátory obrazových dat jako například Google Vision. Součástí práce je implementace navržených metod a jejich porovnání s existujícími přístupy.

Seznam odborné literatury

1. Ian Goodfellow and Yoshua Bengio and Aaron Courville: Deep Learning, MIT Press, 2016. http://www.deeplearningbook.org

2. Xu, H., Ma, Y., Liu, H., Deb, D., Liu, H., Tang, J., & Jain, A.: Adversarial Attacks and Defenses in Images, Graphs and Text: A Review. International Journal of Automation and Computing, 17, 151-178. 2020.

3. Madry, A., Makelov, A., Schmidt, L., Tsipras, D., & Vladu, A.: Towards Deep Learning Models Resistant to Adversarial Attacks. 2018. ArXiv, abs/1706.06083.

4. N. Carlini, A. Athalye, N. Papernot, W. Brendel, J. Rauber, D. Tsipras, I. Goodfellow, A. Madry, A. Kurakin: On Evaluating Adversarial Robustness. 2019. ArXiv abs/1902.06705.