Xapian arama motoru BM25 ağırlıklandırma şemasının detaylarını paylaştı
Öne çıkanlar
- Xapian, BM25 algoritmasını k1=1, k2=0, k3=1 ve b=0,5 varsayılan parametreleriyle sunuyor.
- Kısa belgelerin haksız yüksek puan almasını engellemek için normalize uzunluğa 0,5 taban sınırı getiriliyor.
- Yapılan TREC testleri BM25 modelinin bilinen olasılıksal şemalar arasında en başarılı sistem olduğunu gösteriyor.
Açık kaynaklı arama motoru kütüphanesi Xapian, varsayılan ağırlıklandırma yöntemi olarak kullandığı BM25 algoritmasının matematiksel temellerini ve evrimini teknik bir notla açıkladı. Paylaşılan teknik belgede, son TREC testlerinin BM25 modelini bilinen olasılıksal ağırlıklandırma yöntemlerinin en iyisi olarak gösterdiği aktarıldı. Açılımı "Best Match" olan BM25 şeması, arama sonuçlarında alaka düzeyini hesaplamak için belgelerdeki terim sıklığını ve koleksiyon büyüklüğünü temel alıyor.
Sistem, Stephen Robertson ve Karen Sparck Jones tarafından 1976 yılında yayımlanan geleneksel olasılıksal formülasyondan evrilerek BM11 ve BM15 aşamalarından geçiyor. BM25 yaklaşımı, BM11 ve BM15 modellerini belge uzunluğunu normalize eden "b" ölçekleme katsayısı yardımıyla birleştiriyor. Xapian geliştiricileri, orijinal formülde bulunan ek üs katsayısının testlerde fayda sağlamadığının görülmesi üzerine kütüphanenin mevcut uygulamasında göz ardı edildiğini bildirdi.
Arama motoru kütüphanesi Xapian, BM25 formülündeki katsayılar için k1 değerini 1, k2 değerini 0, k3 değerini 1 ve b değerini ise 0,5 olarak varsayılan parametreler şeklinde sunuyor. Küçük boyutlu belgelerin aşırı yüksek ağırlık puanları alarak öne çıkmasını engellemek için normalize edilmiş belge uzunluğuna 0,5 alt taban değeri uygulanıyor. Optimum değerlerin belge koleksiyonuna ve sorgu yapısına bağlı olarak değişebileceği belirtiliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.