Petabayt ölçeğinde ClickHouse yönetimi için mimari ve operasyonel deneyimler aktarıldı
Öne çıkanlar
- Sıfır kopyalı çoğaltma ve yerel SSD önbellek kullanımı bulut depolama maliyetlerini azaltıyor.
- ZooKeeper sunucularının veri tabanı düğümleriyle aynı makinelerde barındırılmaması gerekiyor.
- Küme güncellemeleri geriye dönük uyumlu çoğaltma protokolü sayesinde sıfır kesintiyle tamamlanabiliyor.
- Hatalı bölüntüleme ve kontrolsüz parça birleştirme işlemleri bellek tükenmesine yol açıyor.
Tinybird altyapı ekibi, yaklaşık altı yıldır petabayt ölçeğindeki ClickHouse kümelerini çalıştırırken edindiği deneyimleri paylaştı. Veri tabanı kümesi kurmanın kolay olduğunu ancak sistemi ayakta tutmanın ciddi zorluklar barındırdığını belirten ekip, özellikle açık kaynak ClickHouse sürümünde bulut depolama desteğinin yetersizliğine dikkat çekti. Geleneksel parça ve kopya mimarisi yerine hesaplama ile depolama ayrımının benimsendiği senaryolarda sıfır kopyalı çoğaltma ve yerel SSD önbellekleme kombinasyonunun maliyetleri düşürdüğü ifade edildi.
Veri tabanında kesintisiz sürüm yükseltme süreçlerinin dört yıllık çalışma sonucunda CI/CD ardışık düzenlerine dahil edildiği açıklandı. Küme güncellemelerinde geriye dönük çoğaltma protokolü sayesinde yeni sürüme sahip kopyaların sırayla devreye alındığı ve test trafiğiyle doğrulandığı aktarıldı. Operasyonel başarı için ZooKeeper bileşeninin veri tabanı düğümlerinden tamamen izole edilmesi gerektiği, aksi takdirde kaynak tıkanıklıklarının tüm tabloları salt okunur moda geçirebileceği ve felaket senaryolarına yol açabileceği kaydedildi.
Veri alma süreçlerinde yaşanan bellek yetersizliği ve parça patlaması sorunlarının küme kararlılığını en çok tehdit eden unsurlar olduğu bildirildi. Eşzamanlı birleştirme işlemleriyle yazma hızının dengelenmesi gerektiği, parça başına düşen veri miktarı iyi ayarlanmadığında sunucuların aşırı bellek tüketimi nedeniyle çöktüğü vurgulandı. Şirket, Kafka gibi maliyetli harici arabellek çözümleri yerine özel geri basınç mekanizmaları ve sıcak ile soğuk disk katmanlandırması kullanarak S3 operasyon maliyetlerini sınırlandırdığını duyurdu.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.