Yapay zeka değerlendirme testlerinde gürültü payı ölçümü sahte alarmları önlüyor

Büyük dil modelleriyle çalışan uygulamalarda regresyon testleri yürütürken model çıktılarındaki stokastik dalgalanmalar sahte hata alarmlarına yol açıyor. Digline kütüphanesinin geliştiricisi, Claude tabanlı içerik özetleme hattındaki bir test senaryosunun girdi veya konfigürasyon değişmediği halde 5 üzerinden 2 puan alıp ardından tekrar 5 puana döndüğünü tespit etti. Tek bir referans puana dayanan ve sabit tolerans kullanan klasik yaklaşımın sahte alarmlar ürettiğini belirten geliştirici, bu durumun ekipleri zamanla gerçek hataları görmezden gelmeye alıştırdığını kaydetti.

Sorunu çözmek için her onaylanan sürümde test senaryolarını bir yerine beş kez çalıştıran yeni bir ölçüm mimarisi kuruldu. Referans veri kümesinde bu beş örneğin en düşük ve en yüksek değerleri saklanarak senaryoya özgü bir gürültü tabanı aralığı oluşturuldu. Yeni bir kod veya istem değişikliği yapıldığında puan düşüşü bu aralık içinde kalıyorsa sistem değişikliği gürültü içi olarak işaretliyor ve regresyon olarak saymıyor. Sadece gürültü aralığının altına inen sapmalar gerçek bir hata olarak değerlendiriliyor.

Reddit içeriklerini inceleyen Scout adlı ikinci bir üretim hattında test edilen yöntem, istem değişikliklerinin model mantığını nasıl bozduğunu başarıyla ortaya koydu. Karmaşık kuralların daha küçük modellerde birbirini geçersiz kıldığı görülürken, düşünme yeteneğine sahip daha gelişmiş bir modele geçiş maliyeti 7,5 kat artırsa da doğruluk oranını belirgin biçimde yükseltti. Geliştirici, yöntemin küçük örneklem sınırlılıkları içerdiğini ancak modellerin içsel dalgalanmalarını ayrıştırmada etkili olduğunu bildirdi.