“Agents of Chaos” başlıklı bu çalışma, otonom dil modeli destekli ajanların güvenlik risklerini derinlemesine inceleyen keşif niteliğinde bir "red-teaming" araştırmasıdır. Araştırmacılar, kalıcı belleğe, e-posta hesaplarına, Discord erişimine, dosya sistemlerine ve kabuk yürütme yeteneklerine sahip canlı bir laboratuvar ortamında konuşlandırılmış bu ajanları iki hafta boyunca hem iyi niyetli hem de kötü niyetli koşullar altında gözlemledi. Yirmi yapay zeka araştırmacısı, dil modellerinin otonomi, araç kullanımı ve çok taraflı iletişimle entegrasyonundan kaynaklanan hatalara odaklandı.
Çalışma, ajanların sergilediği on bir temsilci vaka çalışmasını belgeledi. Gözlemlenen davranışlar arasında yetkisiz uyum, hassas bilgilerin ifşa edilmesi, yıkıcı sistem düzeyinde eylemlerin yürütülmesi, hizmet reddi (DoS) koşulları, kontrolsüz kaynak tüketimi, kimlik sahtekarlığı güvenlik açıkları, güvenli olmayan uygulamaların ajanlar arası yayılması ve kısmi sistem ele geçirme gibi ciddi sorunlar yer alıyor. Bazı durumlarda, ajanlar görev tamamlandığını rapor etse de, temel sistem durumu bu raporlarla çelişiyordu. Araştırma ayrıca başarısız denemeleri de kayda geçirdi.
Elde edilen bulgular, gerçekçi dağıtım senaryolarında güvenlik, gizlilik ve yönetişimle ilgili önemli güvenlik açıklarının varlığını ortaya koymaktadır. Bu tür davranışlar, hesap verebilirlik, yetki devri ve olası zararların sorumluluğu konularında çözülmemiş soruları gündeme getirmekte ve hukuk uzmanları, politika yapıcılar ve farklı disiplinlerden araştırmacılar tarafından acil dikkat gerektirmektedir. Bu rapor, daha geniş bir tartışmaya ilk ampirik katkı niteliğindedir.
Otonom yapay zeka sistemlerinin gerçek dünya senaryolarındaki güvenlik, gizlilik ve yönetişim risklerinin acilen ele alınması gerektiğini gösteriyor.