Artificial Analysis karar modellerini ölçen Decision Index testini yayımladı

Yapay zeka analiz platformu Artificial Analysis, yapılandırılmış kararlar üreten karar modellerinin performansını ölçen Decision Index v1.0 kıyaslama testini duyurdu. Yeni test sistemi sınıflandırma, araç çağırma, bilgi, halüsinasyon ve akıl yürütme olmak üzere dört temel alanı değerlendiriyor. Tek bir çağrıda her seçenek için olasılık dağılımı sunan karar modelleri, geleneksel dil modellerine kıyasla daha hızlı ve daha düşük maliyetli bir yapı sağlıyor.

Endeksin ilk sonuçlarına göre Jev 1.13 modeli 58 puan alarak listenin ilk sırasında yer aldı. Jev 1.13 modelini 54 puanla Fastino Labs üretimi GLiDE ve Microsoft-Decision-1 takip etti. Celeris-1 Decision görevi 0,06 saniyede tamamlayarak en hızlı model olurken, Decider v1.1 27B bir milyon görev başına 17 dolar maliyetle en ekonomik çözüm olarak öne çıktı. Karar modellerinin maliyetleri bir milyon görevde 17 ile 199 dolar, işlem süreleri ise 0,06 ile 0,5 saniye arasında değişiyor.

Dil modelleriyle yapılan karşılaştırmalarda karar modellerinin hız ve maliyet avantajı sağladığı görüldü. Claude Haiku 5.5 modeli 61 puan alsa da 1,4 saniye işlem süresi ve bir milyon görevde 184 dolar maliyetle Jev 1.13 modelinden yaklaşık 11 kat daha yavaş ve 4,4 kat daha pahalı kaldı. Karar modelleri sınıflandırma ve araç çağırma görevlerinde dil modelleriyle benzer başarı gösterirken bilgi ve akıl yürütme alanlarında geride kaldı.