Karar modeli Jev RAG sistemlerindeki hatalı sayfa seçimini düşürdü

Yapay zeka tabanlı çağrı merkezi çözümü geliştiren Sayora ekibi, web sitelerinden bilgi çekme süreçlerinde geleneksel vektör gömme yöntemleri yerine karar modeli Jev'i denedi. Dört işletmenin web sitesinden derlenen 168 müşteri sorusu üzerinde yapılan testlerde, klasik RAG yaklaşımının soruların üçte birinde ana modele yanlış sayfalar ilettiği belirlendi. Metin üretmeyen ve seçenekler arasından seçim yapan Jev modeli ise yanlış sayfa getirme oranını yüzde 3'e düşürerek arama doğruluğunu artırdı.

Test sürecinde sitelerdeki sayfalar Claude Haiku ile özetlendi ve her sayfa için yaklaşık 100 tokenlık açıklamalar hazırlandı. Bu açıklamalar arasından çoktan seçmeli arama yapan Jev, doğru sayfayı ilk sıraya getirme oranında yüzde 88 başarı yakalayarak mevcut üretim sistemindeki yüzde 70'lik oranı geride bıraktı. Ayrıca sistemde yanıtı bulunmayan 40 sorunun 38'inde sitenin bu bilgiyi içermediğini tespit etti. Vektör tabanlı yaklaşım ise cevapsız soruların yalnızca 9'unda eksikliği anlayabildi ve çoğunlukla alakasız rehber yazılarını ana modele iletti.

Ekip, Jev'in ortalama yanıt süresini 0,28 saniye olarak ölçtü ve maliyetin 1 milyon girdi tokenı başına 0,042 dolar seviyesinde kaldığını açıkladı. Karşılaştırma yapılan GPT-6 Luna benzer bir doğruluk oranına ulaşsa da daha yüksek gecikme süresi sergiledi. Vektör gömmeleriyle 40 sayfalık bir ön liste oluşturup nihai seçimi Jev modeline bırakmanın performansı koruduğu kaydedildi. Sayora, canlı aramalara geçmeden önce gerçek görüşme dökümleriyle testleri genişletmeyi planlıyor.