IBM Granite Switch 4.1 modellerini yayımladı
Öne çıkanlar
- Granite Switch 4.1, 8B ve 30B parametreli iki farklı sürüm halinde yayımlandı.
- aLoRA adaptörleri temel modelin KV önbelleğini paylaşarak fazladan VRAM tüketimini önlüyor.
- Sistem vLLM ve llama.cpp üzerinde yerel çıkarım desteğiyle çalışıyor.
IBM, sohbet, karar alma ve ses tanıma yeteneklerini tek bir uç noktada birleştiren Granite Switch 4.1 model ailesini duyurdu. Granite-Switch-4.1-8B ve 30B boyutlarında sunulan yeni modeller, temel dil modelinin üzerine entegre edilen aLoRA adaptörleri ve ses kodlayıcısı sayesinde ek bellek yükü getirmeden çalışıyor. Yapı, tek bir GPU üzerinde temel modelle neredeyse aynı miktarda VRAM tüketerek çoklu işlev sunuyor.
Modeller genel karar mekanizması, güvenlik odaklı Guardian adaptörü ve hızlı konuşma tanıma modeli Granite-Speech-5.0-Turbo-CTC bileşenlerini içeriyor. Adaptörlerin paylaşımlı KV önbelleği kullanabilmesi sayesinde sistem, temel modelin ürettiği önbelleği sonraki karar adımlarında doğrudan işleme alabiliyor. Bu mimari, ses dökümü, özetleme ve zararlı içerik taraması gibi aşamaları içeren beş adımlı RAG iş akışlarında geleneksel yöntemlere kıyasla daha hızlı sonuç veriyor.
Geliştiriciler Granite Libraries deposundaki adaptörleri birleştirerek kendi modellerini oluşturabiliyor. IBM, adaptör eğitimini desteklemek amacıyla Mellea tabanlı bir SDK ve rehberler yayımlamayı planlıyor. Yeni modeller vLLM eklentisi ve llama.cpp üzerinden doğrudan çalıştırılabiliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.