Yeni yapay zeka modeli Jev yapılandırılmış çıktıyla gecikmeyi 70 milisaniyeye düşürdü
Öne çıkanlar
- Jev, yanıt sürelerini geleneksel modellerdeki birkaç saniyelik seviyeden 70 milisaniyeye kadar indirdi.
- Model ardışık belirteç üretimi yerine tek bir ileri geçişle doğrudan yapılandırılmış seçenek üretiyor.
- Düşük gecikme süresi sayesinde model metin tabanlı girdilerle Doom oyununu gerçek zamanlı oynayabiliyor.
Geliştiriciler yalnızca yapılandırılmış çıktı üreten ve Sistem 1 bilişsel modelini temel alan Jev adlı yeni bir yapay zeka modelini duyurdu. Doğal dilde serbest metin üreten geleneksel büyük dil modellerinin aksine Jev, kullanıcıdan gelen seçenek havuzuna göre tek bir ileri geçişte doğrudan sonuç döndürüyor. Bu mimari yaklaşım sayesinde modelin yanıt süreleri 70 ile 500 milisaniye aralığında kalıyor.
Geleneksel dil modelleri JSON formatında çıktı verirken her bir karakteri ve sözdizimi işaretini ardışık biçimde belirteç belirteç üretmek zorunda kalıyor. Jev ise yanıtları paralel olarak üreterek belirteç başına üretim gecikmesini tamamen ortadan kaldırıyor. Düşük gecikme süresinin getirdiği avantaj, modelin metin tabanlı oyun durumlarını gerçek zamanlı analiz ederek Doom oyununu başarılı şekilde oynamasını mümkün kılıyor.
Sistemin halüsinasyon sorununu çözdüğü yönündeki iddialar, modelin yalnızca sunulan seçenekler arasından yanlış tercih yapabilmesi nedeniyle tartışma yaratıyor. Benzer tek belirteçli kısıtlama yöntemlerinin açık kaynaklı modellere de uygulanabileceği belirtilirken, bu tür düşük gecikmeli sistemlerin sohbet botu formatının ötesinde yazılım geliştirme süreçlerine yeni karar mekanizmaları kazandıracağı öngörülüyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.