Artificial Analysis mobil cihazlar için yapay zeka çıkarım testlerini başlattı
Öne çıkanlar
- Testler, kuantizasyon sonrası 8 GB belleğe sığabilen küçük ölçekli yapay zeka modellerini kapsıyor.
- Çıkarım performansı verileri doğrudan mobil donanımlar üzerinde Liquid AI iş birliğiyle ölçüldü.
- Modeller; araç kullanımı, talimat takibi ve matematiksel muhakeme gibi alanlarda değerlendirildi.
Artificial Analysis, akıllı telefonlarda çalışan küçük ölçekli yapay zeka modellerinin performansını ve zeka seviyesini ölçen yeni test sistemini duyurdu. Liquid AI ortaklığıyla yürütülen çalışmada, modellerin çıkarım hızları doğrudan gerçek mobil cihazlar üzerinde ölçüldü.
Test kapsamına, 8K bağlam uzunluğundaki KV önbelleği dahil olmak üzere kuantizasyon sonrası 8 GB bellek sınırına sığabilen modeller dahil edildi. Modellerin değerlendirilmesinde BFCL, IFBench, GPQA Diamond ve MATH-500 gibi araç kullanımı, talimat takibi ve muhakeme yeteneklerini ölçen standart kıyaslama paketleri kullanıldı.
Araştırma, mobil donanımlarda uçtan uca üretim süresi ile model doğruluğu arasındaki dengeyi ortaya koyuyor. Çıkarım süreçlerinin bağımsız olarak doğrulandığı testler, cep boyutundaki yapay zeka modellerinin verimliliğini somut verilerle karşılaştırıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.