Parquet dosyası ve nesne depolama ile sunucusuz gösterge paneli geliştirildi
Öne çıkanlar
- Tarayıcıda çalışan 18 KB'lık Hyparquet kütüphanesi Parquet dosyasını doğrudan HTTP aralık istekleriyle okuyor.
- Sıralı satır grupları ve üst veri istatistikleri sayesinde 40 MB'lık dosyadan sorgu başına yalnızca 260 KB veri çekildi.
- 10 bin müşterili bir panelin saatlik güncellenmesi nesne depolamada aylık yaklaşık 32 dolar maliyet üretiyor.
Hamilton Ulmer, veri tabanı veya sorgu motoru barındırmadan yalnızca tek bir Parquet veri küpü ve nesne depolama kullanarak çalışan analitik gösterge paneli mimarisi geliştirdi. Sistem, Cloudflare R2 üzerinde tutulan 40 MB boyutundaki Parquet dosyasını tarayıcıda çalışan 18 KB'lık Hyparquet kütüphanesiyle doğrudan HTTP aralık istekleri (range requests) üzerinden okuyor.
Yaklaşım, New York Belediyesi'nin 34 milyon satırlık 311 hizmet talebi veri seti üzerinden test edildi. Önceden hesaplanan gruplama kümeleri (grouping sets) Parquet dosyasında sıralı satır grupları halinde depolandı. Dosya sonundaki üst veri (footer) ve min/max istatistikleri sayesinde tarayıcı, filtreleme esnasında dosyanın tamamı yerine yalnızca ihtiyaç duyulan 260 KB gibi küçük parçaları indirerek görselleştiriyor.
Sistem, karmaşıklığı tamamen veri boru hattına kaydırarak müşteri panellerinde sunucu maliyetini ve bakım yükünü azaltıyor. 10 bin müşterilik bir yapıda dosyaların saatlik güncellenmesi nesne depolama üzerinde aylık yaklaşık 32 dolar maliyet oluşturuyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.