Geliştiricilerin RAG mimarilerini gereksiz yere karmaşıklaştırdığı belirtildi
Öne çıkanlar
- BM25 ve tam metin arama yöntemleri 10 milisaniyenin altında gecikme ve sıfır ek API maliyeti sağlıyor.
- Büyük dil modelleriyle sorgu yeniden yazma tekniği gömme işlemine gerek kalmadan eş anlamlıları çözüyor.
- Tüm belgeleri önceden vektörleştirmek model güncellemelerinde yüksek maliyet ve kesinti riski yaratıyor.
Lighthouse bülteninde yayımlanan teknik analiz, yapay zeka tabanlı bilgi getirme (RAG) sistemlerinde mühendislerin sıklıkla aşırı karmaşık mimarilere yöneldiğini ortaya koydu. Çoğu geliştiricinin ilk aşamada doğrudan gömme modelleri, vektör veri tabanları ve yeniden sıralama süreçlerine odaklandığı, ancak basit kullanıcı sorguları için geleneksel tam metin arama yöntemlerinin çoğu zaman yeterli olduğu belirtildi.
Analizde sistem tasarımı için veri güncelliği, sorgu hacmi ve ekip yetkinliklerine dayalı altı kademeli bir yol haritası sunuldu. BM25 gibi klasik tam metin arama algoritmalarının sıfır API maliyeti, 10 milisaniyenin altında gecikme süresi ve özel terimlerde yüksek başarı sağladığı vurgulandı. Kullanıcı niyetini yakalamak içinse doğrudan vektörlere geçmek yerine büyük dil modelleriyle sorgu yeniden yazma (agentic query rewriting) yönteminin uygulanabileceği kaydedildi.
Vektörlerin tüm veri setine önceden uygulanmasının model eskimesi, yüksek bakım maliyeti ve parçalama (chunking) sorunlarını beraberinde getirdiği açıklandı. Günde 10 binden az sorgu alan veya sık güncellenen veritabanlarında anlık gömme (on-the-fly) veya sıcak/soğuk katmanlama modellerinin çok daha verimli bir maliyet ve hız dengesi sunduğu aktarıldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.