Liquid AI modelleri DSpark ile 3,2 kata kadar hızlandı
Öne çıkanlar
- DSpark taslak modelleri GPU'da 3,18 kata, M4 Max işlemcili cihazlarda 2,87 kata kadar hızlanma sağladı.
- Taslak modeller yaklaşık 300 milyon parametre büyüklüğünde geliştirildi.
- LFM2.5-2.6B modelinde işlev çağırma gecikmesi ortalama yüzde 57 oranında düştü.
- Açık ağırlıklı modeller llama.cpp ve SGLang desteğiyle Hugging Face'te yayımlandı.
Liquid AI, LFM2.5 yapay zeka model ailesi için DSpark tabanlı spekülatif kod çözme taslak modellerini yayımladı. LFM2.5-1.2B-Instruct, LFM2.5-2.6B ve LFM2.5-8B-A1B modellerini kapsayan güncelleme, çıktı kalitesini değiştirmeden çıkarım hızını önemli ölçüde artırdı. Taslak modeller GPU üzerinde 3,18 kata, uç cihazlarda ise 2,87 kata kadar verim artışı sağladı.
Söz konusu hızlanma, bellek bant genişliği darboğazını aşmayı hedefleyen yaklaşık 300 milyon parametrelik hafif taslak modellerle elde edildi. Taslak modeller ardışık belirteçleri öngörürken ana model bu belirteçleri tek bir ileri geçişte doğruluyor. Yeni modeller Safetensors ve GGUF formatlarında Hugging Face üzerinde erişime açıldı. Ayrıca llama.cpp ve SGLang altyapılarına doğrudan entegrasyon desteği sunuldu.
Test sonuçlarına göre M4 Max çipli MacBook Pro üzerinde çalışan LFM2.5-2.6B modeli saniyede 140 belirteç hızına ulaştı. Aracılı iş yüklerinde işlev çağırma gecikmesi ortalama yüzde 57 azaldı. Şirket, modellerin eğitimini ve denemelerini AMD donanımları üzerinde gerçekleştirdiğini bildirdi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.