Hisse senedi analizinde InnoDB ve Iceberg mimarileri karşılaştırıldı
Öne çıkanlar
- InnoDB tüm satırı okurken Iceberg tablosundaki 36 sütundan yalnızca sorgulanan 2 sütun diskten çekiliyor.
- InnoDB üzerinde günler süren tablo bölümleme işlemleri Iceberg metaverisinde anlık olarak yapılabiliyor.
- Iceberg mimarisi eşzamanlı yazma çakışmalarını kilit mekanizmaları yerine atomik işaretçi takasıyla çözüyor.
Finansal veri analizi yapan bir geliştirici, hisse senedi analiz platformunun altyapısını MySQL tabanlı InnoDB motorundan Apache Iceberg merkezli bir OLAP göl evi mimarisine taşıdı. İlk sürümde InnoDB üzerinde çalışan sistem, analitik sorgularda yalnızca birkaç sütuna ihtiyaç duyulmasına rağmen tüm satırı bellek havuzuna çekiyordu. Bu durum, veri tabanı boyutu 100 gigabaytı aştığında ciddi performans sorunlarına ve karmaşık bölümleme tablolarının günlerce süren bakım süreçlerine yol açtı.
Yeni mimaride Apache Polaris katalogu, MinIO depolama alanı, Apache Iceberg tablo biçimi ve Apache Spark sorgu motoru tercih edildi. Iceberg mimarisinin sunduğu hiyerarşik metaveri yapısı, veri filtreleme sürecini bildirim listesi, bildirimler ve Parquet veri dosyaları seviyesinde üçe ayırarak sorgu optimizasyonu sağladı. Değişmez Parquet dosyaları sayesinde sadece sorguda belirtilen sütunlar diskten okunurken kalan veriler atlandı.
İki sistem arasındaki eşzamanlılık kontrolü de temelden farklılaştı. InnoDB güncellemeleri geri alma günlükleri ve B-tree dizinleriyle yerinde yönetirken, Iceberg mimarisinde kopyalayarak yazma mantığıyla yeni dosyalar oluşturuldu. Polaris üzerinden atomik metaveri işaretçisi değişimiyle işlenen kayıtlar, sorgu okuyucularının yazma işlemlerini beklemesini engelleyerek daha güvenli bir veri işleme döngüsü sundu.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.