DuckDB 2.0 sürümü asenkron girdi çıktı ve yeni veri yapılarıyla hızlanıyor
Öne çıkanlar
- S3 üzerindeki Parquet ve CSV okumalarında asenkron I/O sayesinde 2 ila 3 kat hız artışı elde edildi.
- Yenilenen özyinelemeli CTE motoru, derin hiyerarşik veri tarama sürelerini saniyelerden 0,10 saniyeye çekti.
- Yeni VARIANT veri türü, tutarlı JSON alanlarını ayrı sütunlara bölerek veri boyutunu 2,7 kat küçülttü.
DuckDB ekibi, bu sonbaharda kararlı sürüme ulaşması planlanan DuckDB 2.0 için alpha sürümünü kullanıma sundu. Yeni sürüm, veri hattı ve analitik sorgu mimarisini önemli ölçüde hızlandıran asenkron I/O motoru, yeniden yazılan özyinelemeli CTE yapısı ve optimize edilmiş VARIANT veri tipi ile geliyor. S3 üzerindeki testlerde harici dosya okumalarında sorgu kodunu değiştirmeden 2 ila 3 kat arası hız artışı sağlandı.
Performans iyileştirmelerinin arkasında Parquet indirme ve çözme süreçlerinin bağımsız iş parçacığı havuzlarına ayrılması yatıyor. Eski sürümde her çalışan iş parçacığı indirme beklerken işlemciyi boş bırakırken, 2.0 sürümünde önceden veri çeken özel indirme havuzu devreye giriyor. Özyinelemeli CTE motorundaki yenilik ise her döngüde tablonun baştan taranması sorununu çözerek derin hiyerarşik sorgularda işlem süresini saniyelerden milisaniye seviyesine indiriyor.
JSON verilerinin işlenmesini kolaylaştıran VARIANT veri tipi, düzenli alanları ayrıştırarak fiziksel sütunlar gibi saklayan yeni mekanizmasıyla depolama alanını yaklaşık 2,7 kat daraltıyor. Sürüm ayrıca veritabanı tetikleyicileri (triggers), iç içe şemalar, Spark SQL uyumluluk modu ve bellekten taşan uzak dosya önbelleğini geçici diske yazma gibi yetenekler de içeriyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.