Arama sorguları karar kümesi yöntemiyle yeniden sıralanıyor
Öne çıkanlar
- Dil modelleri arama sorgularından evet ya da hayır soruları türeterek değerlendirme kriterleri oluşturuyor.
- Karar kümesi yöntemi Wayfair WANDS testinde ortalama NDCG skorunu 0,610 seviyesine yükseltti.
- Amazon ESCI veri kümesinde çoklu soru yaklaşımı 0,360 ortalama NDCG ile BM25 modelini geride bıraktı.
Arama motorlarında sorguları sözcük öbeği olarak ele almak yerine karar listesine dönüştüren yeni bir yöntem test edildi. Bu deneysel yaklaşımda, büyük dil modellerinden arama sorgusuna özel evet ya da hayır sorularından oluşan bir değerlendirme ölçeği üretmesi istendi. Hazırlanan her bir sorunun belgedeki doğrulanma olasılığı Jev modeliyle ölçüldü ve elde edilen skorların toplamı nihai sıralama puanını belirledi.
Yöntem, e-ticaret alanındaki Wayfair WANDS ve Amazon ESCI veri kümeleri üzerinde BM25 algoritması ve doğrudan tek soru soran Jev modeliyle karşılaştırıldı. WANDS veri kümesinde BM25 ortalama 0,5407 ve tekli Jev modeli 0,574 NDCG değerine ulaşırken, çoklu soru kullanan karar kümesi yöntemi 0,610 NDCG skoruna çıktı. Benzer şekilde Amazon ESCI testinde de karar kümesi ortalama 0,360 NDCG ile diğer yöntemleri geride bıraktı.
Sorgu bazlı otomatik özellik çıkarımı sağlayan bu kurgu, dil modellerinin sorguya dair arama kriterlerini belirlemesini ve karar modellerinin bu kriterleri puanlamasını sağlıyor. Test edilen kurguda bazı soruların birbirini tekrar etmesine rağmen sistemin genel sıralama başarısında artış görüldü. Alana özgü karar modellerinin eğitilmesiyle arama kalitesinin daha da geliştirilebileceği ifade ediliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.