Livenerf Claude Opus 5.5 modelinin zamanla zayıflayıp zayıflamadığını ölçüyor

Açık kaynaklı yeni bir kıyaslama projesi olan livenerf, yapay zeka modellerinin yayımlandıktan sonra gizlice performans kaybına uğrayıp uğramadığını istatistiksel yöntemlerle tespit etmek üzere çalışmaya başladı. Claude Opus 5.5 modelinin 22 Eylül 2026 tarihindeki çıkışının hemen ardından başlatılan proje, Anthropic modellerinin lansman sonrası kısıtlandığı yönündeki iddiaları somut verilerle test etmeyi amaçlıyor. Sistem, Birleşik Krallık Yapay Zeka Güvenliği Enstitüsü tarafından geliştirilen Inspect değerlendirme çatısı üzerine inşa edildi.

Süreç, deterministik olmayan model yanıtlarını kontrol altında tutabilmek için sabitlenmiş komut istemleri, sürümü kilitlenmiş komut satırı arayüzü ve salt ekleme yöntemiyle kaydedilen ham günlükler kullanıyor. GPQA Diamond, MMLU-Pro ve yarışma matematiği havuzundan seçilen 2 bin 336 soru elenerek modelin başarı oranının yüzde 30 ile 70 arasında kaldığı 78 adet bilgilendirici soru panele dahil edildi. Günlük olarak yürütülen testler, ilk 10 günlük referans dönemi sonrasındaki iki ayrı 10 günlük pencereyle karşılaştırılıyor.

Çalışmanın ana metriği soru bazlı eşleştirilmiş skor farklarını ölçerken, ikincil gösterge olarak yanıt başına üretilen token sayısı izleniyor. Modelin düşünme süresinde meydana gelebilecek olası düşüşlerin doğruluk oranından önce doğrudan token sayısına yansıyacağı belirtiliyor. Kıyaslama protokolü gereğince, ardışık iki ölçüm penceresinde yüzde 99 güven aralığında en az 3 puanlık bir sapma kaydedilmeden ve kontrol modelinde benzer bir eğilim görülmeden kalıcı bir değişim kararı açıklanmıyor.