Yapay zeka modelleri kod tabanı koruma testinde zorlanıyor
Öne çıkanlar
- GPT-6 Astra XHigh, yüzde 16,33 katı başarı oranıyla test grubunun lideri oldu.
- Opus 5.5 ve GPT-6 SOL, yüksek maliyetli XHigh yerine Medium seviyesinde daha yüksek başarı gösterdi.
- Modellerin çekirdek başarı oranı yüzde 74'e çıksa da katı başarılar yüzde 16'nın altında kaldı.
SlopCodeBench kıyaslama testinin Ekim 2026 sonuçları yayımlandı. Gelişen gereksinimler karşısında mevcut kodu bozmadan yeni özellikler ekleme becerisini ölçen testte, uç modellerin katı başarı oranları yüzde 12,2 ile 16,3 aralığında kaldı. GPT-6 Astra XHigh, 196 kontrol noktasından 32 tanesini başarıyla tamamlayıp yüzde 16,33 oranına ulaşarak listenin ilk sırasına yerleşti. Ancak bu oran, Mayıs 2026 döneminde ölçülen yüzde 14,8'lik seviyeye kıyasla sınırlı bir artışa işaret ediyor.
Araştırmacılar, 36 farklı yazılım probleminde modellerin ardışık sürümlerini inceledi. Çalışmada, akıl yürütme seviyesini en üst düzeye çıkaran XHigh ayarının her modelde performansı artırmadığı görüldü. Opus 5.5 modeli, Medium ayarında 28 kontrol noktasını geçerken, maliyeti 4,22 kat daha yüksek olan XHigh ayarında 25 başarıda kaldı. GPT-6 SOL modelinde de benzer şekilde Medium seviyesi XHigh seçeneğinden daha yüksek başarı sergiledi. Kampanya maliyetleri 178 dolar ile 1.550 dolar arasında değişti.
Test sonuçları, yapay zeka ajanlarının ana işlevleri oluşturmakta zorlanmadığını ancak geriye dönük uyumluluk testlerini koruyamadığını ortaya koydu. Çekirdek başarı oranları yüzde 65 ile 74 bandında seyrederken, tüm regresyon testlerini içeren katı oranlar sert biçimde düştü. Modellerin son kontrol noktalarında binlerce regresyon hatası verdiği ve geride yüksek oranda geçici kod ile atık dosya bıraktığı belirlendi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.