Exploring the vulnerabilities of real-life AI systems against adversarial attacks

• Thesis title in Czech: Výzkum zranitelnosti reálných systémů umělé inteligence vůči adversariálním útokům
• Thesis title in English: Exploring the vulnerabilities of real-life AI systems against adversarial attacks
• Key words: adversariální útoky|hluboké učení|black-box|bezpečnost umělé inteligence
• English key words: adversarial attack|deep learning|black-box|AI security
• Academic year of topic announcement: 2021/2022
• Thesis type: Bachelor's thesis
• Thesis language: angličtina
• Department: Department of Theoretical Computer Science and Mathematical Logic (32-KTIML)
• Supervisor: Mgr. Roman Neruda, CSc.
• Author: Bc. Jakub Hejhal - assigned and confirmed by the Study Dept.
• Date of registration: 14.05.2021
• Date of assignment: 14.05.2021
• Confirmed by Study dept. on: 08.09.2021
• Date and time of defence: 10.09.2021 09:00
• Date of electronic submission: 22.07.2021
• Date of submission of printed version: 22.07.2021
• Date of proceeded defence: 10.09.2021
• Opponents: Mgr. Martin Pilát, Ph.D.

Guidelines

Cílem práce je navrhnout a implementovat black-box metody generování adversariálních vzorů pro modely hlubokých neuronových sítí klasifikující obrazová data. Student prozkoumá existující black-box metody útoků a zhodnotí jejich účinost vzhledem k reálným AI systémům. Návrh vlastních metod se soustředí na necílené adversariální útoky pracující s omezenou informací poskytovanou komerčními klasifikátory obrazových dat jako například Google Vision. Součástí práce je implementace navržených metod a jejich porovnání s existujícími přístupy.

References

1. Ian Goodfellow and Yoshua Bengio and Aaron Courville: Deep Learning, MIT Press, 2016. http://www.deeplearningbook.org

2. Xu, H., Ma, Y., Liu, H., Deb, D., Liu, H., Tang, J., & Jain, A.: Adversarial Attacks and Defenses in Images, Graphs and Text: A Review. International Journal of Automation and Computing, 17, 151-178. 2020.

3. Madry, A., Makelov, A., Schmidt, L., Tsipras, D., & Vladu, A.: Towards Deep Learning Models Resistant to Adversarial Attacks. 2018. ArXiv, abs/1706.06083.

4. N. Carlini, A. Athalye, N. Papernot, W. Brendel, J. Rauber, D. Tsipras, I. Goodfellow, A. Madry, A. Kurakin: On Evaluating Adversarial Robustness. 2019. ArXiv abs/1902.06705.