ClickHouse açık kaynaklı Postgres çoğaltma motoru WalShadow'u duyurdu
Öne çıkanlar
- WalShadow, Postgres verilerini mantıksal yuvalar yerine doğrudan fiziksel WAL akışından okuyor.
- Postgres'te onaylanan veriler yaklaşık 200 milisaniye içinde ClickHouse tarafında görünür hale geldi.
- Testlerde saniyede 289 bin satır aktarım hızına ulaşılarak kaynak sunucu temposu yakalandı.
- Proje GitHub üzerinde açık kaynak olarak paylaşıldı ve bulut hizmetinde önizlemeye açıldı.
ClickHouse, Postgres verilerini doğrudan fiziksel işlem günlüğünden (WAL) ClickHouse sistemine aktaran açık kaynaklı çoğaltma motoru WalShadow'u tanıttı. Geleneksel mantıksal çoğaltma ve CDC yöntemlerinden farklı olarak geliştirilen araç, Postgres üzerindeki mantıksal yuva gereksinimini ve işlem yükünü ortadan kaldırıyor. Yapılan performans testlerinde Postgres tarafında onaylanan işlemlerin yaklaşık 200 milisaniye içinde ClickHouse üzerinde analiz edilebilir hale geldiği kaydedildi.
Sistem, kaynak Postgres sunucusunun oluşturduğu fiziksel işlem günlüğü akışını harici olarak işleyen dört aşamalı bir mimari kullanıyor. Canlı şema değişiklikleri yalnızca şema içeren gölge bir Postgres örneğinde takip edilirken, veri değişiklikleri Rust tabanlı kod çözücüler aracılığıyla paralel biçimde işleniyor. Elde edilen veriler Kafka veya ara JSON serileştirme adımlarına ihtiyaç duyulmadan doğrudan ClickHouse bloklarına dönüştürülüyor ve eşzamanlı olarak hedef veri tabanına yazılıyor.
Şirket içi testlerde WalShadow, saniyede 289 bin satırlık aktarım hızına ulaşarak kaynak Postgres sunucusunun performansına darboğaz oluşturmadan yetişti. Mantıksal çoğaltma kullanan PeerDB ile kıyaslandığında aracın yaklaşık 50 kat daha düşük gecikme süresi sunduğu bildirildi. GitHub üzerinde açık kaynak olarak yayımlanan yazılım, ClickHouse Managed Postgres hizmeti kapsamında özel önizleme sürümüyle de kullanıma sunuldu.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.