Turbopuffer, derin öğrenme topluluğundan ilham alarak vektör arama yeteneklerini önemli ölçüde geliştirdi ve Approximate Nearest Neighbor (ANN) Search v3 teknolojisini tanıttı. Bu yeni sürüm, tek bir arama dizininde 100 milyar vektöre kadar ölçeklenebilirlik sunarken, p99 sorgu gecikmesini 200 milisaniyenin altında tutmayı hedefliyor. Bu, mevcut sistemleri temelden optimize ederek ölçeklenebilirlik konusunda büyük bir sıçrama yapma felsefesinin bir ürünüdür.
Sistem, 1024 boyutlu ve her boyutu 2 bayt (f16) olan vektörler için toplamda 200 terabayt (TiB) yoğun vektör verisi üzerinde çalışıyor. Bu kadar büyük bir veri kümesinde saniyede 1000'den fazla sorgu (QPS) oranını 200 milisaniyenin altında bir gecikmeyle sunmak, ciddi donanım ve yazılım optimizasyonları gerektiriyor. Turbopuffer'ın mimarisi, nesne depolama (S3 gibi) üzerinde çalışan, önbellek hiyerarşisi ve hesaplama katmanlarından oluşan basit ve durumsuz bir sorgu katmanına dayanıyor. Bu mimari, sistemin CPU, bellek, disk veya ağ gibi bileşenlerde darboğaz yaşamamasını sağlamak için tasarlanmıştır.
Donanım kaynaklarının en verimli şekilde kullanılması, darboğazları tespit edip dengelemekle mümkün oluyor. Sistem, ya hesaplama yoğun (compute-bound) ya da bant genişliği yoğun (bandwidth-bound) olabilir. Turbopuffer, bu darboğazları tahmin etmek için GPU topluluğundan ödünç alınan bir strateji olan 'aritmetik yoğunluk' kavramını kullanıyor. Aritmetik yoğunluk, aritmetik işlemlerin bellek işlemlerine oranını ifade eder ve bu oran, iş yükünün hangi alanda optimize edilmesi gerektiğini belirlemeye yardımcı olur.
Turbopuffer'ın ANN v3 teknolojisi, devasa vektör veri kümeleri üzerinde yüksek performanslı ve düşük gecikmeli arama yetenekleri sunarak yapay zeka ve makine öğrenimi uygulamalarının ölçeklenebilirliğini radikal bir şekilde artırıyor.