turbopuffer depolama mimarisini v3 sürümüyle yeniliyor
Öne çıkanlar
- ANN vektör indeksi birincil indeks olmaktan çıkarılarak ikincil indeks konumuna alındı.
- Dokümanların vektör adresine bağlı tutulması nedeniyle yaşanan yazma ve depolama büyütmesi sorunları çözülüyor.
- turbopuffer v3 sürümünün tüm sürekli entegrasyon testleri başarıyla geçti ve performans ayarlama aşamasına geçildi.
Arama odaklı veri tabanı girişimi turbopuffer, depolama mimarisini baştan tasarladığını ve v3 sürümüne geçiş sürecini başlattığını açıkladı. Şirket, belgelerin ve dizinlerin düzenlenme, yazılma, sıkıştırılma ve sorgulanma yöntemlerini kökten değiştiriyor. Sunucusuz bir vektör veri tabanı olarak yola çıkan platform, bu adımla birlikte yaklaşık en yakın komşu (ANN) vektör dizinini birincil dizin olmaktan çıkarıp ikincil bir dizin haline getiriyor.
İlk sürümlerde nesne depolama üzerinde kümeleme tabanlı hiyerarşik vektör dizini kullanan sistem, öznitelik filtreleme ve tam metin araması gibi yeni sorgu türlerini bu mimariye bağladı. Zamanla doküman içeriklerinin doğrudan vektör adreslerine göre anahtarlanması, depolama ve yazma büyütmesi sorunlarına yol açtı. Özellikle SPFresh ile yapılan küme dengeleme işlemlerinde tek bir vektörün güncellenmesi, ilgili tüm doküman özniteliklerinin ve ters dizinlerin taşınmasına sebep oldu ve performans artırma çalışmalarını sınırlandırdı.
Şirket, modern vektörize sorgu motorlarının ihtiyaç duyduğu blok boyutlarının ANN küme sınırlarına takıldığını ve v3 mimarisinin bu bağımlılığı kaldırdığını belirtti. turbopuffer v3 için sürekli entegrasyon testlerinin tamamı başarıyla geçildi ve sistemin optimizasyon sürecine girildi. 1 trilyondan fazla doküman barındıran platform, yeni depolama katmanıyla daha geniş sorgu planlarını yüksek ölçekte desteklemeyi hedefliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.