vLLM ekibi Kimi K3 modelinin çıkarım hızını iki katına çıkardı
Öne çıkanlar
- Kimi K3, 16 adet NVIDIA GB300 GPU üzerinde saniyede 842 belirteç hızına ulaştı.
- Çekirdek birleştirme ve iletişim optimizasyonları çıkarım başarımını 2 kata kadar artırdı.
- Ekip, ajanların yazdığı kodları izole eden ve otomatik doğrulayan yeni bir süreç başlattı.
vLLM ekibi, Kimi K3 modeli için yapay zeka kodlama ajanlarından yararlanarak geliştirdiği yeni GPU çekirdeği optimizasyonlarını duyurdu. NVIDIA GB300 donanımını hedefleyen çalışma; dikkat, uzmanlar karması ve GPU'lar arası iletişimi CuTe DSL tabanlı birleşik bir kod yapısında topladı. Yapılan optimizasyonlar sonucunda model, 16 adet GB300 üzerinde spekülatif kod çözme desteğiyle saniyede 842 belirteç hızına ulaştı.
Ekip, bellek bant genişliği sınırlarını aşmak amacıyla küçük yığın boyutlarına özel çekirdekler tasarladı ve dikkat çıktısı projeksiyonunu NVLink üzerinden all-reduce adımıyla doğrudan birleştirdi. Uzmanlar karması mimarisinde yönlendirici hesaplamaları tensör paralelliği birimleri arasında paylaştırılarak gereksiz ağırlık okumaları engellendi. Bu adımlar, standart vLLM altyapısına kıyasla farklı yığın boyutlarında 1,5 ile 2 kat arasında başarım artışı sağladı.
Yapay zeka ajanlarının ürettiği kodların manuel denetim yükünü hafifletmek isteyen geliştiriciler, değişikliklerin model kodu içinde izole edildiği yeni bir doğrulama çerçevesi tanıttı. Sistem, üretim aşamasında kullanılan sıcaklık örneklemesi ve yapılandırılmış çıktı gibi temel özellikleri korurken otomatik doğruluk testleri uyguluyor. Aynı tasarım ilkeleri DeepSeek-V4.1-Flash ve GLM5.3 modellerine de aktarılıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.