GLM ekibi GLM-5.3-Flash modelini ve GGUF sürümlerini yayımladı
Öne çıkanlar
- Model 320 milyar toplam parametreye ve 18 milyar aktif parametreye sahip.
- 30 trilyon belirteçlik çok modlu veri kümesiyle eğitildi.
- GGUF formatı sayesinde llama.cpp ve Ollama ile yerel olarak çalıştırılabiliyor.
GLM ekibi, GLM-5 serisinin ilk yerel çok modlu mimarisine sahip yapay zeka modeli GLM-5.3-Flash'ı kullanıma sundu. Toplam 320 milyar parametreye sahip olan model, seyrek mimarisi sayesinde çıkarım anında yalnızca 18 milyar parametreyi aktif hale getiriyor. Unsloth ise modelin yerel ortamlarda çalışmasını kolaylaştıran GGUF formatındaki kuantize edilmiş sürümlerini Hugging Face üzerinde paylaştı.
Model mimarisi, seyrek ve doğrusal dikkat mekanizmalarını birleştiren hibrit bir yapıyla tasarlandı. Bu tasarım tercihi ve mHC adlı hiper bağlantı yöntemi, uzun bağlamlı görevlerde sunucu maliyetlerini düşürürken modelin ölçeklenme verimliliğini artırıyor. 30 trilyon belirteçlik çok modlu veri kümesiyle eğitilen model, kodlama ve otonom yazılım aracı testlerinde öne çıkıyor.
Geliştiriciler yayımlanan GGUF sürümlerini llama.cpp, vLLM, Ollama ve Unsloth Desktop gibi popüler yerel araçlar üzerinden çalıştırabiliyor. Paylaşılan sürümler 1-bit ile 16-bit arasında farklı kuantizasyon seçenekleri sunuyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.