Mesh Applied optimize Qwen modellerini tek GPU üzerinde çalıştırdı
Öne çıkanlar
- Goethe Qwen3.8-27B, RTX 5090 üzerinde tek eşzamanlılıkta saniyede 255 belirteç hızına ulaştı.
- RTX 6000 Pro üzerinde çalışan Qwen3.8-Flash-Next, saniyede 184 belirteç çözme performansı gösterdi.
- Optimize edilen modelin yerel sunucudaki maliyeti bir milyon çıktı belirteci başına 0,01 doların altına indi.
Mesh Applied ekibi, açık kaynaklı yapay zeka modellerini yaygın donanımlarda yüksek hızla çalıştırmak amacıyla geliştirdiği yeni model ve çekirdek kombinasyonlarını duyurdu. Şirket, NVFP4 nicemleme ve özel çekirdek optimizasyonları uyguladığı iki yeni modeli Hugging Face üzerinde kullanıma sundu. Geliştiriciler, yüksek işlem kapasitesi sunarak görev başına harcanan süreyi ve enerji maliyetini düşürmeyi amaçladıklarını açıkladı.
Ekip, yoğun mimariye sahip Goethe Qwen3.8-27B modelini tüketici sınıfı donanımlar için optimize etti. 32 GB video bellekli GeForce RTX 5090 ekran kartında test edilen model, tek eşzamanlı istekte saniyede 255 belirteç, dört eşzamanlı istekte ise saniyede 686 belirteç üretim hızına ulaştı. Modelin 24 GB video bellekli kartlarda da çalışabildiği, kişisel asistanlar ve belge tarama görevleri için tasarlandığı bildirildi.
Kodlama odaklı Goethe Qwen3.8-Flash-Next modeli ise 96 GB video belleğe sahip tek bir RTX 6000 Pro donanımında test edildi. Model, tek eşzamanlılıkta saniyede 184 belirteç, dört eşzamanlılıkta saniyede 334 belirteç çözme hızı sağladı. Ekip, yerel sunucu ortamında bir milyon çıktı belirtecinin maliyetini 0,01 doların altına indirdiğini açıkladı. Özel çekirdek uzantıları ve altyapı kodları da GitHub üzerinden paylaşıldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.