PrismML dokuz kat daha küçük Bonsai 2 27B modelini sundu
Öne çıkanlar
- Model boyutu üçlü ağırlık yapısıyla 5,9 GB seviyesine düşürüldü.
- Bonsai 2 27B, orijinal modelin genel performansının yüzde 98,2'sini koruyor.
- RTX 5090 üzerinde saniyede 143 token işleme hızına ulaşıyor.
- Model ağırlıkları Apache 2.0 açık kaynak lisansıyla yayımlandı.
PrismML, Qwen3.8 27B tabanlı açık kaynaklı yeni yapay zeka modeli Ternary Bonsai 2 27B'yi duyurdu. Şirket, üçlü ağırlık sıkıştırması sayesinde modelin bellek ayak izini 5,9 GB seviyesine indirdiğini açıkladı. Tam duyarlıklı sürüme göre 9 kattan fazla küçülen model, Apache 2.0 lisansı altında kullanıma sunuldu.
Yeni model, ağırlık başına efektif 1,76 bit temsiliyle çalışıyor ve 262 bin token bağlam penceresi ile çok modlu girdi desteği barındırıyor. Şirketin paylaştığı benchmark verilerine göre Bonsai 2 27B, tam duyarlıklı orijinal modelin genel performansının yüzde 98,2'sini koruyor. Sistem; kodlama, araç kullanımı ve uzun erimli görevlerde küçük modellerde sık görülen hata birikimini azaltmayı hedefliyor.
Donanım testlerinde model, NVIDIA GeForce RTX 5090 üzerinde saniyede 143 token, Apple M5 Max üzerinde ise saniyede 46,8 token üretim hızına ulaştı. RTX 4090 üzerinde yapılan ölçümlerde token başına 0,714 mWh tüketen sistemin, tam duyarlıklı 8B bir modele göre yüzde 40 daha verimli çalıştığı aktarıldı. Bonsai 2 27B, CUDA ve MLX altyapıları üzerinden çalıştırılabiliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.