DuckDB 2.0 ADBC üzerinden tam sorgu aktarımıyla 11 kata kadar hızlandı
Öne çıkanlar
- DuckDB 2.0 ile gelen tam sorgu aktarımı, PostgreSQL üzerinde sorgu sürelerini 11,4 kata kadar düşürdü.
- Yapılan testlerde ADBC üzerinden istemciye taşınan satır sayısı 5 milyondan 100 satıra kadar geriledi.
- Hedef veri tabanının desteklemediği karmaşık ifadelerde sistem yerel planlama moduna güvenle geri dönüyor.
Query Farm ekibi, DuckDB 2.0 geliştirme sürümünde ADBC (Arrow Database Connectivity) tabanlı adbc_scanner eklentisine tam sorgu aktarımı (whole-query pushdown) desteği eklediğini duyurdu. Yeni mimari sayesinde DuckDB, PostgreSQL ve MySQL gibi uzak veri tabanlarına bağlandığında tüm sorguyu yerel operatörlere bölmeden doğrudan karşı sunucuya iletiyor. Bu sayede uzak veri tabanı üzerinde kümeleme ve filtreleme işlemleri tamamlanıyor; istemci tarafına ise milyonlarca satır yerine yalnızca sonuç verisi dönüyor.
Ekibin paylaştığı kıyaslama testlerine göre, 5 milyon satırlık sentetik veri üzerinde çalıştırılan gruplanmış toplama sorgusu uzak sunucuya aktarıldığında yüzde 90 daha az sürede tamamlandı ve işlem 10 kat hızlandı. Benzer biçimde seçici birleştirme ve toplama içeren ikinci senaryoda ise sorgu süresi 2 bin 131 milisaniyeden 187 milisaniyeye gerileyerek 11,4 kat hız artışı sağladı. ADBC üzerinden taşınan veri boyutu da 5 milyon çiftten yalnızca nihai sonuç olan 100 satıra kadar düştü.
Yeni optimizasyon adbc_scanner eklentisinin v2.0 dalında açık kaynak olarak yayımlandı. Güvenli semantik eşleşme sağlanamadığı veya hedef veri tabanının desteklemediği fonksiyonlar tespit edildiğinde sistem otomatik olarak geleneksel yerel yürütme planına geri dönüyor. Kullanıcılar ayrıca query_pushdown seçeneğini kapatabiliyor ve EXPLAIN komutu üzerinden sorgunun uzak sunucuda mı yoksa yerel planda mı işlendiğini denetleyebiliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.