Bu makale, yapay zeka (YZ) ajanlarının gerçek bir kurumsal ortamda siber güvenlik profesyonellerine karşı penetrasyon testi yeteneklerini kapsamlı bir şekilde değerlendiren ilk çalışmayı sunuyor. Araştırmacılar, yaklaşık 8.000 ana bilgisayar ve 12 alt ağdan oluşan büyük bir üniversite ağında on siber güvenlik uzmanını, altı mevcut YZ ajanını ve kendi geliştirdikleri yeni ajan iskeleti ARTEMIS'i karşılaştırdı. ARTEMIS, dinamik komut istemi üretimi, isteğe bağlı alt ajanlar ve otomatik güvenlik açığı sınıflandırması özelliklerine sahip çok ajanlı bir framework olarak öne çıkıyor.
Çalışmanın sonuçlarına göre ARTEMIS, genel sıralamada ikinci sırada yer alarak dokuz geçerli güvenlik açığı keşfetti ve %82'lik geçerli gönderim oranıyla on insan katılımcının dokuzunu geride bıraktı. Codex ve CyAgent gibi mevcut YZ iskeletleri çoğu insan katılımcıya kıyasla daha düşük performans gösterirken, ARTEMIS en güçlü katılımcılarla karşılaştırılabilir teknik gelişmişlik ve gönderim kalitesi sergiledi. YZ ajanlarının sistematik numaralandırma, paralel istismar ve maliyet avantajları sunduğu gözlemlendi; bazı ARTEMIS varyantlarının saatlik maliyeti 18 dolar iken, profesyonel penetrasyon test uzmanları için bu rakam 60 dolar seviyesindeydi. Ancak, YZ ajanlarının daha yüksek yanlış pozitif oranlarına sahip olduğu ve GUI tabanlı görevlerde zorlandığı gibi temel yetenek eksiklikleri de belirlendi.
Yapay zeka ajanları, siber güvenlik penetrasyon testlerinde insan uzmanlarına karşı rekabetçi bir performans sergileyerek maliyet avantajları sunarken, belirli alanlarda hala geliştirilmesi gereken yönleri olduğunu gösteriyor.