Keenable yapay zeka arama motorları için NEEDLE testini geliştirdi
Öne çıkanlar
- NEEDLE, arama motorlarının başarımını ölçmek için saatlik ve günlük güncellenen sorgular kullanıyor.
- Statik testlerde modellerin veri kümesini indirerek ya da ezberleyerek yanıt bulduğu tespit edildi.
- Ajan odaklı aramalarda bağımsız dizine sahip arama motorları daha yüksek doğruluk ve düşük gecikme sunuyor.
Arama motoru girişimi Keenable, yapay zeka ajanlarının arama performansını ölçmek amacıyla açık kaynaklı ve dinamik bir test sistemi olan NEEDLE'ı duyurdu. Ekip, geleneksel statik testlerin veri sızıntısı ve modellerin yanıtları ezberlemesi nedeniyle yetersiz kaldığını belirtti. Yeni sistem, sürekli güncellenen verilerle modellerin ezber yeteneğini devre dışı bırakıyor.
NEEDLE sistemi haberler, finans, akademik yayınlar, nadir varlıklar ve hukuk olmak üzere beş ana kategoride sorgular içeriyor. RSS akışları, trendler ve gerçek ajan günlüklerinden beslenen sorgular saatlik veya günlük olarak yenileniyor. Şirket, Google, Bing, Brave, Tavily ve Exa gibi platformları bu dinamik veri setleriyle düzenli olarak karşılaştırıyor.
Keenable mühendisleri, insan odaklı geleneksel arama motorlarının video ve tıklama optimizasyonuna odaklandığını, yapay zeka ajanlarının ise ham metin ve doğrudan olgulara ihtiyaç duyduğunu aktardı. Kendi dizinine sahip bağımsız arama motorlarının ajan trafiğinde daha başarılı olduğu ve gecikme sürelerini düşürmede avantaj sağladığı kaydedildi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.