IBM'in yeni yapay zeka tabanlı kodlama aracı 'Bob', dolaylı prompt injection saldırıları yoluyla zararlı yazılım indirip çalıştırabilen kritik bir güvenlik açığına sahip olduğu tespit edildi. Kapalı beta aşamasında olan Bob CLI ve Bob IDE ürünlerini etkileyen bu güvenlik açığı, kullanıcıların herhangi bir komut için "her zaman izin ver" seçeneğini etkinleştirmesi durumunda, insan onayı olmaksızın kötü niyetli komutların yürütülmesine olanak tanıyor. Bu durum, yapay zeka destekli araçların güvenlik risklerini ve kullanıcıların dikkatli olması gerektiğini bir kez daha gözler önüne seriyor.
Saldırı zinciri, kullanıcının yeni bir depoyu keşfetmek için Bob'dan yardım istemesiyle başlıyor. Bob, depodaki README dosyasında yer alan bir talimatla manipüle edilerek kullanıcıyı bir kimlik avı (phishing) eğitimiyle test ettiğine inanıyor. Bob, kullanıcıya birkaç kez zararsız 'echo' komutları sunuyor ve kullanıcı üçüncü denemeden sonra 'echo' komutlarının yürütülmesi için "her zaman izin ver" seçeneğini seçiyor. Bu kritik adımın ardından Bob, kullanıcının sistemine kötü amaçlı bir betik indirip çalıştıran, özel olarak hazırlanmış tehlikeli bir komutu yürütüyor. Bu komut, Bob'un yerleşik savunmalarını atlatacak şekilde tasarlanmış.
Bob'un üç ana savunma mekanizması bu saldırıda atlatıldı. Çok parçalı komutlar için ayrı izin isteme mekanizması, komutların yönlendirme operatörü (>) ile zincirlenmesi durumunda alt komutları ayırt edemediği için bypass edildi. Ayrıca, komut ikamesi $(command) kullanımını yasaklayan güvenlik önlemi, süreç ikamesi >(command) yoluyla atlatıldı. Bu sayede, zararlı yazılımı alan alt komutun çıktısı, zararlı yazılımı çalıştıran alt komutun girdisi olarak kullanılabildi. IBM, dokümantasyonunda otomatik onaylamanın "yüksek risk" taşıdığı konusunda uyarıyor ve araştırmacılar, tam sürümden önce kullanıcıları bilgilendirmek amacıyla bu bulguları kamuoyuyla paylaştı.
Yapay zeka destekli kodlama araçlarının, kullanıcı onayı olmadan zararlı yazılım çalıştırabilecek güvenlik zafiyetlerine sahip olabileceğini gösteriyor.