Ana Sayfa

Postgres CDC ve ClickHouse Entegrasyonunda Bir Yılın Dersleri

1 dk okuma

ClickHouse Cloud'da Postgres CDC (Change Data Capture) bağlayıcısının lansmanından bu yana bir yıl geçti. 2024'te satın alınan PeerDB entegrasyonuyla geliştirilen bu bağlayıcı, özel önizlemeden genel kullanıma sunulana kadar birçok aşamadan geçti. Bu makale, PeerDB'nin ClickHouse ekosistemine entegrasyonu, müşteri benimsemesinin bağlayıcıyı nasıl şekillendirdiği ve bu süreçte edinilen temel dersler üzerine bir değerlendirme sunuyor. Temel amaç, Postgres ve ClickHouse gibi iki farklı amaca yönelik açık kaynak veritabanı teknolojisini müşteriler için kolayca entegre etmektir. Bu sayede, işlemsel veriler Postgres'ten ClickHouse'a sorunsuz bir şekilde senkronize edilerek analitik yükü ClickHouse'a aktarılıyor.

Bu hedefe ulaşmak amacıyla ClickHouse, Postgres CDC için özel olarak tasarlanmış açık kaynaklı bir ürün olan PeerDB'yi Temmuz 2024'te satın aldı. Sadece dört ay içinde PeerDB, ClickHouse Cloud'a tamamen entegre edildi ve ClickPipes'taki Postgres CDC bağlayıcısının temel motoru haline geldi. Satın alma sürecinde PeerDB'yi açık kaynak olarak tutma ve ClickPipes'ı besleyen ayrı, modüler bir bileşen olarak sürdürme kararı alındı. Bu stratejik karar, mühendislik hızını artırmanın yanı sıra her bir parçanın bağımsız ancak uyumlu bir şekilde gelişmesine olanak tanıdı. Böylece, ClickPipes'a yapılan tüm geliştirmelerin açık kaynak projeye geri dönmesi ve daha geniş topluluğa fayda sağlaması sağlandı. GitHub etkinliği karşılaştırmaları, bu kararın geliştirme hızı üzerindeki olumlu etkisini doğruladı.

PeerDB satın alımından bu yana, Postgres CDC'nin ClickHouse'a entegrasyonu neredeyse 100 kat büyüdü. Satın almadan önce PeerDB kullanan birkaç şirketten, bugün ClickPipes aracılığıyla 400'den fazla şirkete ulaşıldı. Bu şirketler, aylık olarak 200 TB'tan fazla Postgres verisini ClickHouse'a kopyalıyor. AutoNation, Seemplicity, Ashby ve LC Waikiki gibi büyük şirketler de bu teknolojiyi kullanıyor. Bu büyüme, Postgres ve ClickHouse arasındaki

İçgörü

ClickHouse'un PeerDB satın alımı ve Postgres CDC entegrasyonu, açık kaynak stratejisinin ve iki veritabanı teknolojisinin sinerjisinin müşteri benimsemesini nasıl katlayarak artırdığını gösteriyor.

Kaynak