Liquid AI cihaz içi çalışan LFM2.5-24B-A2B modelini duyurdu
Öne çıkanlar
- Model, 24 milyar toplam parametresine karşın belirteç başına yalnızca 2 milyar aktif parametre çalıştırıyor.
- Apple M5 Max üzerinde saniyede 184 belirteç, tek NVIDIA B300 GPU üzerinde ise saniyede 21 bin belirteç üretti.
- AutomationBench etmen testinde 27,69 puan alarak en yakın rakibini üç kat geride bıraktı.
- Açık ağırlıklı model 131 bin belirteçlik bağlam desteğiyle Hugging Face üzerinde yayımlandı.
Liquid AI, cihaz üzerinde yerel olarak çalışmak üzere tasarlanan açık ağırlıklı akıl yürütme modeli LFM2.5-24B-A2B'yi yayımladı. Toplam 24 milyar parametreye sahip olan model, her belirteç için yalnızca 2 milyar parametreyi aktif kullanıyor. LFM2.5 ailesinin en büyük ve son üyesi olan model, açık ağırlıklarıyla Hugging Face platformu üzerinden ve şirketin kendi bulut arayüzü aracılığıyla genel erişime açıldı.
Yeni model, önceki nesle kıyasla 33 trilyon belirteçlik genişletilmiş ön eğitim verisi ve 131 bin belirtece çıkarılan bağlam penceresiyle geliştirildi. Akıl yürütme adımlarını açık bir düşünce zinciriyle sunan mimari, araç kullanımı ve otonom etmen testlerinde kendisinden yüzde 50 daha büyük olan rakipleri geride bıraktı. Model, AutomationBench testinde 27,69 puan alarak en yakın rakibinin üç katı performans sergiledi ve BFCLv4 ile ToolSandbox gibi ölçümlerde de liderliği aldı.
Çalışma performansı tarafında model, Apple M5 Max işlemcide saniyede 184 belirteç, tek bir NVIDIA B300 grafik işlemcide ise saniyede 21 bin çıkış belirteci hızına ulaştı. Sistem llama.cpp, MLX ve vLLM gibi popüler çıkarım araçlarını doğrudan destekliyor. Geliştiriciler, modelin tüketici donanımlarında veri gizliliğini koruyarak harici API çağrısı yapmadan yerel etmen görevlerini yürütebildiğini açıkladı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.