Yeni bir araştırmaya göre, otonom araçlar ve drone'lar gibi yapay zeka destekli sistemler, yol işaretlerine yazılan komutlar aracılığıyla 'dolaylı komut enjeksiyonu' saldırılarına maruz kalabiliyor. Kaliforniya Üniversitesi, Santa Cruz ve Johns Hopkins Üniversitesi'nden araştırmacılar, bu tür çevresel saldırıların, yapay zeka görüş sistemlerinin karar alma süreçlerini ele geçirebileceğini gösterdi. Bu durum, otonom araçların yaya geçitlerindeki insanları görmezden gelerek ilerlemesi veya polis araçlarını takip etmek üzere programlanmış drone'ların yanlış bir aracı izlemesi gibi ciddi güvenlik riskleri taşıyor.
Araştırmacılar, 'CHAI' (command hijacking against embodied AI) adını verdikleri yöntemle, yapay zeka sistemlerinin ve onları destekleyen büyük görsel dil modellerinin (LVLMs) kamera görüş alanına yerleştirilen işaretlerdeki talimatları güvenilir bir şekilde takip ettiğini simüle edilmiş denemelerde kanıtladı. GPT-4o ve InternVL gibi modeller üzerinde yapılan testlerde, 'ilerle' veya 'sola dön' gibi komutların, yapay zeka tarafından komut olarak algılanma olasılığını en üst düzeye çıkarmak için yapay zeka kullanılarak optimize edildiği görüldü. Komutların Çince, İngilizce, İspanyolca ve Spanglish dillerinde dahi etkili olduğu belirtildi.
Sadece komutun kendisi değil, aynı zamanda metnin yazı tipi, renkleri ve işaretin yerleşimi gibi görsel unsurlar da saldırının etkinliğini artırmak için manipüle edildi. Araştırmacılar, komutun içeriğinin başarı üzerinde en büyük etkiye sahip olduğunu, ancak işaretin görünümünün de saldırının başarılı olup olmamasında kritik bir rol oynadığını keşfetti. Sanal ortamlarda yapılan testlerde, LVLM'lerin görüş alanına yerleştirilen manipüle edilmiş işaretler sayesinde, bir aracın yaya geçidini kullanan insanlara rağmen sola dönme kararı aldığı gözlemlendi. Bu bulgular, otonom sistemlerin güvenliği için yeni nesil siber güvenlik önlemlerinin geliştirilmesi gerektiğini vurguluyor.
Yol işaretleri aracılığıyla otonom araç ve drone'lara komut enjekte edilebilmesi, yapay zeka sistemlerinin fiziksel dünyadaki güvenlik açıklarını ve kötüye kullanım potansiyelini gözler önüne seriyor.