Artificial Analysis yeni zeka endeksi v5 sürümünü duyurdu
Öne çıkanlar
- Artificial Analysis v5 endeksi bilgi işleri, kodlama, bilim ve genel yetenek alanlarını yüzde 25'er ağırlıkla puanlıyor.
- Yeni sıralamada sekiz kapalı kaynaklı model en iyi açık ağırlıklı modelin üzerinde yer aldı.
- Değerlendirme sistemi, modellerin testlere özel optimize edilmesini engellemek için soruları gizli tutulan testlere yöneldi.
Yapay zeka modellerini bağımsız olarak değerlendiren Artificial Analysis kuruluşu, büyük dil modellerinin yeteneklerini tek bir puanda toplayan Intelligence Index v5 sürümünü yayımladı. Yeni sistem, modellerin gerçek dünya kullanımını ölçmek amacıyla dört ana kategoriye eşit ağırlık veriyor. Değerlendirmede bilgi işleri, yazılım geliştirme, bilimsel problemler ve genel muhakeme alanlarının her biri toplam puanın yüzde 25'ini oluşturuyor.
Yayımlanan endekste kapalı kaynaklı ticari modeller, açık ağırlıklı alternatiflere karşı belirgin bir üstünlük sergiledi. Sıralamada sekiz kapalı kaynaklı model, en üst sıradaki açık ağırlıklı modelin önünde yer aldı. Açık ağırlıklı modellerin özellikle bilimsel test alt kümelerinde ve karmaşık muhakeme alanlarında kapalı modellerin gerisinde kaldığı görüldü. Artificial Analysis, modellerin özel olarak sınav sorularına odaklanmasını engellemek için soruların gizli tutulduğu kapalı kıyaslama yöntemlerine ağırlık verdi.
Bağımsız kıyaslama süreçleri, sektördeki trilyon dolarlık pazar paylarını ve yatırım kararlarını doğrudan etkiliyor. Büyük laboratuvarlar kurumsal müşterilerin özel kullanım senaryolarına ve iç araştırma-geliştirme süreçlerine odaklanırken, küçük ve orta ölçekli üreticiler tanınırlık sağlamak için bu endekslere bağımlı kalıyor. Değerlendirme kuruluşlarının test sonuçlarını onaylama karşılığında üreticilerden gelir elde etmesi ise ölçümlerin bağımsızlığına yönelik soru işaretlerini canlı tutuyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.