PostHog veri ambarı altyapısında DuckDB kullanımını sonlandırdı
Öne çıkanlar
- DuckLake üzerindeki PostHog verisi 2 petabayt, 1 trilyon satır ve 15,3 milyon anlık görüntüye ulaştı.
- Katalog istatistiklerinin birikmesi nedeniyle tek tabloya veri yazma süresi 3 dakikanın üzerine çıktı.
- PostHog yeni veri ambarı mimarisini Trino ve açık kaynaklı HogLake formatı üzerine inşa etti.
PostHog, veri ambarı altyapısını beş ay önce taşıdığı DuckDB mimarisinden çıkararak Trino ve kendi geliştirdiği HogLake tabanlı yeni bir sisteme geçirdiğini açıkladı. Şirket, tek sunucuda üstün başarı gösteren DuckDB motorunun, müşterilerin buluttaki karmaşık ve büyük ölçekli iş yüklerini karşılamakta yetersiz kaldığını belirtti. Yapılan incelemeler sonucunda mimarinin son üç ay içinde dağıtık yapıya uygun şekilde yeniden tasarlandığı duyuruldu.
Şirket, DuckLake uzantısının taşınabilir şema yapısı nedeniyle motor bazlı özel optimizasyonlara izin vermediğini ve katalog istatistikleri yüzünden tek bir tabloya yazma süresinin üç dakikayı aştığını bildirdi. Dahili kullanımda sistemin 2 petabayt, yaklaşık 1 trilyon satır ve 15,3 milyon anlık görüntü boyutuna ulaştığı, bu ölçekte meta veri temizliği yapılsa dahi veritabanı bağlantı sınırları ve katalog şişmesi gibi darboğazların aşılamadığı kaydedildi.
Altyapıda Postgres bağlantı protokolünü doğrudan sunmanın HTTP tabanlı yüklere kıyasla yük dengeleme, boşta kalan bağlantılar ve istemci uyumluluğu açılarından operasyonel yük yarattığı aktarıldı. PostHog, topluluk yamalarını kendi çatallanmış sürümünde yönetmek yerine kendi Trino dağıtımı ve HogLake açık tablo formatına geçerek petabayt ölçeğindeki analitik sorguları doğrudan destekleyecek yeni yapıyı devreye aldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.