Infino arama dizinlerini doğrudan bulut nesne depolama sistemlerine taşıdı

Infino ekibi, yapay zeka etmenlerinin veri alma işlemlerini ölçeklendirmek amacıyla arama dizinini yerel diskler yerine doğrudan S3, GCS ve Azure Blob gibi nesne depolama sistemlerinde barındıran yeni mimarisini açıkladı. Geleneksel sistemlerde ve Lucene yapısında rastgele okuma işlemlerinin yerel diskte ucuz olduğu varsayılırken, bulut nesne depolarında her rastgele okuma onlarca milisaniye süren ve ayrı faturalandırılan HTTP isteklerine dönüşüyor. Şirket, bu maliyet modeline uyum sağlamak için arama motorunu ağ gidiş-dönüş sayısını en aza indirecek şekilde yeniden tasarladı.

Geliştirilen mimaride veriler, tam metin ve vektör dizinlerini içeren Parquet biçimindeki "superfile" adlı tekil dosyalarda düzenleniyor. Bu yapılandırma sayesinde DuckDB gibi harici araçlar dosyaları doğrudan okuyabilirken, motor içindeki her bölüm aralık bazlı HTTP GET istekleriyle çağrılıyor. Süper tabloların içerdiği bildirim (manifest) dosyası ise her dosyanın altbilgisini ve başlıklarını önbellekte saklayarak dizin açılışındaki ek ağ isteklerini ortadan kaldırıyor. Terim dizini mekanizması da sorgulanan kelimenin hangi dosyalarda yer aldığını doğrudan tespit edip alakasız dosyaların taranmasını engelliyor.

Sistemde bayt aralıkları 64 kilobayttan az olan veriler tek istekte birleştirilerek indiriliyor ve sorgular sırasında sadece ihtiyaç duyulan tam metin kayıtları çekiliyor. Aynı zamanda arka planda indirilen dosyalar yerel diske kaydedilip belleğe eşlenerek tekrarlanan sorgularda nesne deposuna erişim ihtiyacı tamamen sıfırlanıyor. Şirket, sorgu algoritmalarında Lucene ve BM25 mantığını korurken, depolama katmanındaki optimizasyonların bulut altyapısında gecikmeyi ve maliyetleri düşürdüğünü belirtti.