Pentest Partners'tan bir güvenlik araştırmacısı, Eurostar'ın yapay zeka destekli genel sohbet robotunda dört önemli güvenlik açığı keşfetti. Bu zafiyetler arasında, sohbet robotunun belirlenen güvenlik sınırlarını (guardrail) aşma, konuşma ve mesaj kimliklerinin yeterince kontrol edilmemesi, sistem komutlarını sızdıran prompt injection ve kendi kendine XSS'e yol açan HTML injection bulunuyor. Araştırmacı, Eurostar'ın sohbet robotunun gelişmiş yapısını fark ettikten sonra, şirketin güvenlik açığı açıklama programı kapsamında incelemeye başladı.
Tespit edilen zafiyetler sayesinde saldırganlar, yapay zeka modelinin temel komutlarını (prompt) ele geçirebilir, sohbet robotunun yanıtlarını yönlendirebilir ve hatta sohbet penceresinde zararlı komut dosyaları çalıştırabilirdi. Bu durum, LLM tabanlı sistemlerde bile geleneksel web ve API güvenlik zafiyetlerinin hala geçerli olduğunu gösteren önemli bir ders niteliğindedir. Eurostar'a yapılan açıklama süreci zorlu geçmiş, şirket başlangıçta araştırmacıyı şantajla suçlamış ve geri bildirim taleplerine yanıt vermemiştir. Ancak, zafiyetler sonunda giderildikten sonra bulgular kamuoyuyla paylaşılmıştır. Bu olay, yapay zeka destekli uygulamaların geliştirilmesinde güvenlik testlerinin ve sağlam bir açıklama sürecinin ne kadar kritik olduğunu bir kez daha ortaya koymaktadır.
Yapay zeka destekli sistemlerin, geleneksel web ve API güvenlik prensiplerine uygun şekilde test edilmesi ve güvence altına alınması gerektiği, aksi takdirde ciddi zafiyetlere yol açabileceği görüldü.