Yapay zeka testlerindeki MMLU skor farkı yöntemsel uyumsuzluktan kaynaklanıyor

Yapay zeka modellerinin performansını ölçmede yaygın olarak kullanılan MMLU test sonuçları, aynı isim altında yayımlansa dahi doğrudan karşılaştırılamıyor. Dmitrii Zatona tarafından Eylül 2026'da yayımlanan teknik inceleme, aynı model ailesine ait iki farklı sürümün 0,781 ve 0,790 olarak ölçülen MMLU skorlarının arka planındaki yöntemsel farkları ortaya koydu. İki ölçüm de biçimsel olarak geçerli sayılmasına karşın, doğrulayıcı sistem bu iki değer arasındaki fark sorgusuna karşılaştırılamaz yanıtını verdi.

MMLU etiketi yalnızca bir veri kümesi ailesini tanımlarken; veri kümesi ayrımı, kod uygulaması, istem formatı, puanlayıcı ve internet erişimi gibi değişkenleri serbest bırakıyor. Örnek vakada ilk ölçüm geliştirme kümesinde tam eşleşme yöntemiyle yapılırken, sonraki ölçüm farklı bir test kümesinde büyük dil modeli hakemliğinde puanlandı. Literatürdeki çalışmalar istem formatındaki ufak değişikliklerin veya cevap şıklarının sırasının puanları 15 puana kadar değiştirebildiğini ve farklı test araçlarının model sıralamalarını altüst ettiğini gösteriyor.

APL AI-Eval profili kapsamında geliştirilen açık kaynaklı Rust kütüphanesi, test sonuçlarını SHA-256 özetleriyle bağımsız çerçeve nesnelerine bağlayarak süreci denetledi. Denetim sonucunda her iki kayıt yapısal olarak geçerli bulunsa da aralarında yöntemsel köprü bulunmadığı için puan çıkarma işlemi engellendi. Metroloji ilkelerine dayanan bu yaklaşım, bağlamı ve yürütme koşulları açıkça tanımlanmamış tekil sayıların geçerli bir performans gözlemi oluşturmadığını doğruladı.