Polars 2.0 yayımlandı

Açık kaynaklı veri analizi kütüphanesi Polars, kapsamlı mimari yenilikler ve performans artışları getiren 2.0 sürümünü yayımladı. Yeni sürümle birlikte kütüphane, SQL desteğini birincil seviyeye taşırken bellek yönetimi tarafında disk taşması (spill-to-disk) mekanizmasını varsayılan olarak devreye aldı. Geliştirici ekip, bu adımlarla birlikte büyük veri analitiğinde karşılaşılan bellek yetersizliği sorunlarının önemli ölçüde önüne geçildiğini bildirdi.

Sürümün en temel değişikliklerinden birisi, tembel değerlendirme (LazyFrame) sorgularında akış motorunun (streaming engine) artık standart olarak çalışması oldu. Bu mimariyle birlikte bellek kullanımı yaklaşık yüzde 80 seviyesine ulaştığında veriler 64 GB limitli geçici disk alanına aktarılıyor; bu işlem ilk etapta sıralama, pencere fonksiyonları ve çeşitli ifadeler için çalışıyor. Ayrıca kütüphaneye Python sözlüklerine benzeyen Arrow MapType uyumlu yeni Map veri tipi eklendi ve bu türe özgü anahtar arama ile değer listeleme fonksiyonları tanımlandı.

Ekip tarafından TPC-H ve TPC-DS kıyaslama testlerinde yapılan ölçümlerde Polars 2.0, DuckDB ve DataFusion karşısında sorgu tamamlama sürelerinde öne çıktı. Çok çekirdekli sistemlerde ölçeklenebilirliğin artırıldığı yeni sürümde, veri türü uyuşmazlıklarında sessizce devam etmek yerine erken hata veren katı tip denetimi benimsendi. Geliştiriciler, önümüzdeki süreçte birleştirme (join) ve gruplama (group-by) işlemlerine de disk taşması desteği geleceğini ve GeoPolars üzerindeki çalışmaların sürdüğünü açıkladı.