vLLM kısıtlı kod çözme ile araç çağırma doğruluğunu artırıyor
Öne çıkanlar
- Kimi K2.6 modelinde yüzde 92 olan araç şeması doğruluğu, kısıtlı kod çözme yöntemiyle yüzde 100 seviyesine çıkarıldı.
- XGrammar kütüphanesi belirteç maskeleme yöntemini doğrudan GPU üzerinde çalıştırarak ek gecikme yaratmadan geçersiz çağrıları engelledi.
- vLLM 0.31 sürümüne eklenen sunucu parametresiyle araç çağırma katılığı kullanıcı denetimine sunuldu.
Ubicloud ekibi, açık ağırlıklı büyük dil modellerinde araç çağırma doğruluğunu artırmak için vLLM çıkarım motorundaki kısıtlı kod çözme desteğini devreye aldı. Testlerde vLLM sürüm 0.28 ile sunulan Kimi K2.6 modelinde araç şeması doğruluğunun yüzde 92 seviyesinde kaldığı ve her 25 çağrıdan 2 tanesinin başarısız olduğu görüldü. Şemaya uymayan çıktılar bağlam penceresini kirleterek çok adımlı ajan iş yüklerinde kalite kaybına yol açtı.
Sorunun çözümü için XGrammar kütüphanesini kullanan kısıtlı kod çözme yöntemi tercih edildi. Bu yöntem, modelin serbest belirteç üretimi yerine yalnızca JSON şemasına uygun belirteçleri seçmesini zorunlu kılıyor. Üretim sırasında GPU üzerinde belirteç maskelemesi uygulayan sistem, performans kaybı yaratmadan geçersiz yolları engelliyor ve şema uyumunu çalışma zamanı garantisine dönüştürüyor.
vLLM 0.31 sürümünde sunucu tarafı parametresi olarak eklenen bu özellik sayesinde Kimi ve DeepSeek modellerinde şema doğruluğu yüzde 100 seviyesine çıktı. vLLM geniş model desteği nedeniyle bu özelliği varsayılan olarak kapalı tutarken, Ubicloud ekibi Moonshot AI tarafından yayımlanan 2 bin istekli K2VV ToolCall testinde başarı sağlayarak yapılandırmayı canlı ortama taşıdı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.