PostHog akıl yürüten sınıflandırma modeli Jeeves'i yayımladı
Öne çıkanlar
- Qwen3.5-9B tabanlı Jeeves, genel test verilerinde 0,889 doğruluk elde etti.
- JevBench kamuya açık testlerinde Jev'in 0,866 puanına karşılık 0,935 puana ulaştı.
- Difüzyon taslak oluşturucu sayesinde tek soruda üretim hızı saniyede 176 belirtece çıktı.
- Tek bir Nvidia H100 üzerinde düşünme süreciyle medyan 3,3 saniyede çıkarım yaptı.
PostHog, karar alma öncesinde akıl yürütme adımlarını çalıştıran Jeeves adlı açık kaynaklı sınıflandırma modelini duyurdu. Qwen3.5-9B tabanı üzerine LoRA ve işaretçi başlığı eklenerek geliştirilen sistem, SFT ve CISPO yöntemleriyle eğitildi. Jev tarzı mimariyi benimseyen model, difüzyon tabanlı bir taslak oluşturucu yardımıyla spekülatif kod çözme uygulayarak çıkarım hızını koruyor.
Yayımlanan kıyaslama sonuçlarına göre Jeeves, eğitimde görmediği test verilerinde 0,889 başarım oranına ulaşarak Kev-9B ve Jev modellerini geride bıraktı. JevBench testlerinin kamuya açık aşamalarında 0,935 puan elde eden sistem, özellikle kural yapıları ve karşıt ilke görevlerinde tam doğruluk sağladı. Bilgi odaklı MMLU testlerinde ise modelin temel Jev sisteminin gerisinde kaldığı görüldü.
Sistem, tek bir API isteği içinde evet/hayır, çoktan seçmeli ve puanlama sorularını aynı anda değerlendirebiliyor. Düşünme adımı kapalıyken Nvidia H100 üzerinde 0,3 saniyede yanıt veren model, akıl yürütme zinciri devredeyken medyan 3,3 saniye gecikmeyle çalışıyor. PostHog, modelin ağırlıklarını, eğitim kodlarını, veri hazırlama betiklerini ve Python istemci kütüphanesini GitHub üzerinde erişime açtı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.