Mac Studio üzerinde yerel Qwen3.8 27B test edildi
Öne çıkanlar
- Qwen3.8 27B Q4 modeli Mac Studio M3 Ultra üzerinde saniyede 14 token hızında çalıştı.
- Model daha az tokenle yanıt ürettiği için toplam tamamlama süresinde önceki sürüme yaklaştı.
- 1-bit kuantizasyon genel bilgileri korurken karmaşık karar alma süreçlerinde başarısız oldu.
- Q4 kuantizasyonunu sorunsuz çalıştırmak için sistemlerde en az 32 GB bellek gerekiyor.
Açık kaynaklı yapay zeka modeli Qwen3.8 27B, Apple Silicon donanımında kapsamlı performans testlerine tabi tutuldu. Mac Studio M3 Ultra üzerinde yapılan ölçümlerde modelin Q4_K_M kuantizasyonu saniyede 14 token üretim hızına ulaştı. Yeni modelin saniye başına üretim hızı selefi Qwen3.6'nın gerisinde kalsa da yanıtları daha az sözcükle tamamlaması sayesinde toplam görev süresi benzer seviyede gerçekleşti.
Test sonuçları, modelin 262 bin tokenlik bağlam penceresi ve çok modlu görsel işleme yetenekleriyle arka plan otomasyonlarında başarı sağladığını gösterdi. Unsloth tarafından hazırlanan 1-bit kuantizasyon denemesinde bellek gereksinimi 6,7 GB seviyesine inse de modelin karar verme yeteneğinin ciddi oranda düştüğü belirlendi. Güvenilir araç kullanımı ve karmaşık görevler için en az Q2_K_XL kuantizasyonunun gerektiği kaydedildi.
Modelin çalıştırılması için güncel llama.cpp veya Ollama 0.32.12 sürümleri gerekiyor. Testler, Q4 sürümü için 32 GB, daha düşük kuantizasyonlar için ise en az 16 GB bellek ihtiyacı olduğunu ortaya koydu.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.