PostgreSQL verilerini ClickHouse üzerine aktarmak maliyetleri düşürüyor

ClickHouse ekibi, PostgreSQL gibi çevrim içi işlem işleme (OLTP) veri tabanlarında biriken verilerin ClickHouse üzerine aktarılmasına dayalı yeni bir mimari yaklaşım paylaştı. Bu yöntem, yapay zeka ve modern web uygulamalarında hızla büyüyen veri boyutlarının yarattığı doğrusal altyapı maliyetlerini azaltmayı hedefliyor. Şirket, artık değişmeyen geçmiş verileri sütun tabanlı bir veri tabanına taşımanın birim ekonomisinde kayda değer tasarruf sağladığını duyurdu.

PostgreSQL, ACID uyumluluğunu sürdürmek için her yazma işleminde yazma öncesi günlük (WAL), çoklu sürüm eşzamanlılık denetimi (MVCC) ve dizin güncellemeleri gibi maliyetli mekanizmalar çalıştırıyor. Yaklaşık 100 baytlık bir satır değişikliği, disk üzerinde onlarca kilobaytlık girdi-çıktı yükü yaratıyor. Veri kümesi bellek sınırlarını aştığında sıkıştırılmamış 8 KB boyutundaki sayfalar diskten okunuyor ve bu durum okuma performansını düşürüyor. Çoğu uygulamada finansal dökümler, geçmiş siparişler veya kullanıcı hareketleri gibi veriler belirli bir sürenin ardından neredeyse hiç değişmiyor.

ClickHouse, yüksek hacimli satır bazlı işlemlere odaklanmak yerine sütun tabanlı mimarisiyle verileri 10 ila 30 kat sıkıştırıyor. Yeni mimaride güncel işlemler PostgreSQL tarafında kalırken, durağan veriler ve özetleme sorguları ClickHouse üzerinden karşılanıyor. Şirket ayrıca yerel NVMe depolama, WalShadow adlı veri yakalama mekanizması ve pg_clickhouse eklentisiyle bu iki sistemi ClickHouse Cloud çatısı altında birleştirdiğini açıkladı. Geliştiriciler bu yapıyla birlikte durağan veriler için harcanan işlemci ve depolama masraflarını düşürebiliyor.