Artificial Analysis dil modelleri için Intelligence Index v5.0 metodolojisini duyurdu
Öne çıkanlar
- Endeks; Bilgi İşçiliği, Kodlama, Bilim ve Genel kategorilerine yüzde 25'er ağırlık veriyor.
- Dokuz temel değerlendirme setini birleştiren sürümde E2B sanal ortamları kullanılıyor.
- Değerlendirmelerde genellikle ilk denemedeki başarıyı ölçen pass@1 puanlaması uygulanıyor.
- Çok dilli testler ana endeks puanına katılmayarak ayrı raporlanıyor.
Yapay zeka analiz platformu Artificial Analysis, büyük dil modellerinin genel yeteneklerini ölçen Artificial Analysis Intelligence Index v5.0 metodolojisini yayımladı. Yeni sürüm; akıl yürütme, bilgi, matematik ve programlama alanlarını kapsayan dokuz farklı değerlendirme setini bir araya getiriyor. Sistem, modellerin genel zeka seviyesini nesnel biçimde karşılaştırmak üzere ağırlıklı bir puanlama yapısı kullanıyor.
Endeks puanı; Bilgi İşçiliği, Kodlama, Bilim ve Genel başlıklarından oluşan dört ana kategoriye yüzde 25'lik eşit ağırlık verilerek hesaplanıyor. Dokuz temel test arasında AA-Briefcase v1.1, AutomationBench-AA, GDP.pdf, FrontierCode 2.0, Terminal-Bench 4.0, AA-Omniscience v1.1, HLE-Diamond, CritPt v2 ve Terminal-Bench-Science yer alıyor. Değerlendirmelerde internet erişimi bulunmayan izole E2B korumalı alanları kullanılıyor ve modellerin araç kullanım becerileri denetleniyor.
Sistemde modeller sıfır örnekli talimatlarla test edilirken sıcaklık değeri akıl yürütme yapmayan modellerde sıfır, akıl yürüten modellerde ise 0,6 olarak belirlendi. API hatalarına karşı 30 denemeye kadar otomatik yeniden deneme mekanizması işletiliyor. Çok dilli performans, konuşma ve görsel girdi yetenekleri ise ana endekse dahil edilmeyerek bağımsız testlerle raporlanıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.