Manticore Search uzun metinler için yerleşik parça bölme desteği sundu
Öne çıkanlar
- Manticore Search, CREATE TABLE üzerinden beş farklı otomatik metin bölme stratejisi sunuyor.
- Bölünen belgeler tekil kayıt olarak dönüyor ve en yakın parçanın mesafesine göre puanlanıyor.
- Uzun metinlerdeki erişim başarısı yüzde 55,1 seviyesinden yüzde 83,3'e çıktı.
Açık kaynaklı arama motoru Manticore Search, uzun belgeler üzerinde vektör araması yapılmasını kolaylaştıran yerleşik metin bölme özelliğini kullanıma sundu. Geliştiriciler, CREATE TABLE bildiriminde chunk_strategy belirterek harici veri işleme hatlarına veya üçüncü taraf kütüphanelere ihtiyaç duymadan belgeleri otomatik olarak parçalayabiliyor. Bu yenilik, yerleştirme modellerinin girdi sınırını aşan metinlerin sessizce kırpılması sorununu doğrudan veri tabanı katmanında çözüyor.
Sistem; truncate, mean, fixed, recursive ve sentence olmak üzere beş farklı bölme stratejisi içeriyor. Tek vektör üreten yöntemlerin yanı sıra çoklu vektör dizilerini destekleyen stratejiler, belgenin bütünü yerine sorguyla eşleşen en yakın paragrafın öne çıkmasını sağlıyor. Kullanıcılar parça boyutunu, parçalar arasındaki örtüşme miktarını ve belge başına azami parça sayısını tablo tanımı üzerinden doğrudan yapılandırabiliyor.
Manticore dokümantasyonu üzerinde yürütülen testlerde, model penceresinin dışında kalan içeriklerin bulunma oranı yüzde 55,1 seviyesinden yüzde 83,3'e yükseldi. Arama motoru, belgeler arka planda parçalara ayrılsa bile sonuç listesinde her belgeyi yalnızca en yakın parçasının uzaklık puanıyla tek bir kayıt olarak döndürüyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.