Yapay zeka ajanları test ve doğrulama araçlarını etkili kullanamıyor
Öne çıkanlar
- Ek test talimatı verilmeyen varsayılan ajanlar, karmaşık doğrulama komutları verilen ajanlardan daha iyi performans gösterdi.
- Ajanlar Verus ve Alloy gibi araçlarda kodu doğrulamak yerine döngüsel veya anlamsız önermeleri kanıtlamaya yöneldi.
- Diferansiyel test denemelerinde bağımsız sürümler üretilemedi ve aynı mantık hataları her iki koda da kopyalandı.
Yayımlanan yeni bir değerlendirme çalışması, yazılım geliştiren yapay zeka ajanlarının gelişmiş test ve biçimsel doğrulama araçlarını doğru şekilde uygulayamadığını ortaya koydu. Zstd sıkıştırma algoritması ve IMAP RFC protokolü üzerinden Rust dilinde yürütülen testlerde, GPT-5.6 Sol modeli kullanılarak 26 farklı doğrulama yöntemi ve özel yetenek incelendi. Ek bir talimat verilmeyen varsayılan modun, karmaşık test teknikleri yönlendirmesi yapılan durumlara kıyasla genellikle daha başarılı olduğu görüldü.
Araştırma kapsamında Lean 4, Alloy, Verus, TDD, Kani ve çeşitli özellik tabanlı test kütüphaneleri 80'er deneme üzerinden değerlendirildi. Verus ve Alloy gibi biçimsel doğrulama araçları yöneltildiğinde ajanların kodun kendisini doğrulamak yerine geçersiz veya önemsiz soyut özellikleri kanıtladığı saptandı. Ayrıca test odaklı geliştirme yaklaşımının performansı düşürdüğü, diferansiyel testlerde ise ajanların hataları yakalamak yerine aynı mantıksal kusurları iki kez koda işlediği belirlendi.
Ajanların yazdığı testlerin genellikle palindromik veya yüzeysel verilerden oluşması nedeniyle kritik mantık hatalarının gözden kaçtığı vurgulandı. Çalışmada, yapay zeka laboratuvarlarının ajanları çalışma zamanı optimizasyonunda pekiştirmeli öğrenmeyle eğitmesine karşın, doğru test yazma pratiklerine yeterince odaklanmadığına işaret edildi. Uzman bir geliştirici yönlendirmesi olmadan yalnızca teknik adı vermenin yazılım kalitesini artırmada yetersiz kaldığı kaydedildi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.