Logfire dinamik parçalama ile sorguları bin kata kadar hızlandırdı

Pydantic bünyesindeki gözlemlenebilirlik platformu Logfire, yarı yapılandırılmış OpenTelemetry öznitelik verilerini işleme biçimini yenilediğini açıkladı. Geliştirici ekip, dinamik parçalama adını verdiği optimizasyon sayesinde 30 saniyelik zaman aşımına uğrayan sorguların bir saniyenin altına indiğini ve belirli senaryolarda 1000 kat hız artışı sağlandığını bildirdi. Önceden tüm öznitelikleri tek bir JSON sütununda saklayan ve hızlı ayrıştırma kütüphanelerine güvenen sistem, nesne depolama üzerindeki yüksek girdi-çıktı maliyetlerini bu yöntemle ortadan kaldırdı.

Yeni mimari, veri alımı ve birleştirme süreçlerinde her Parquet dosyasındaki en sık kullanılan ilk 128 öznitelik anahtarını otomatik olarak tespit ediyor. Sistem bu anahtarları kendi türlerine uygun ayrı sütunlara bölüştürürken, nadir veya rastgele üretilen anahtarları geriye kalan JSON alanında tutmayı sürdürüyor. Böylece sorgu motoru tüm JSON bloğunu indirmek zorunda kalmadan yalnızca ilgili öznitelik sütununu okuyor, sıkıştırma oranını artırıyor ve CPU tarafındaki JSON ayrıştırma yükünü tamamen sıfırlıyor.

Ekip, bu mimariyi hayata geçirmek için açık kaynaklı Apache DataFusion sorgu motorunda altı aydır kapsamlı geliştirmeler yaptı. İfade ve yüklem itme yeteneklerini doğrudan Parquet okuyucusuna kazandıran ekip, bu iyileştirmelerin DataFusion 52.1.0 sürümüyle projeye dahil edildiğini duyurdu. Yeni parçalama altyapısının Şubat 2026 içinde kademeli olarak tüm Logfire kullanıcılarına sunulacağı açıklandı.