RapidsMPF GPU bellek sınırlarını aşan veri karıştırma işlemlerini hızlandırdı
Öne çıkanlar
- RapidsMPF, sekiz Blackwell GPU içeren DGXB200 üzerinde saniyede 1,8 TiB karıştırma hızına ulaştı.
- Bellek baskısı altında veriler doğrudan ana belleğe yazılarak gereksiz GPU tahliye trafiği önlendi.
- Bellek limiti 12 GiB seviyesine çekildiğinde sistem OOM hatası vermeden çalışmayı sürdürdü.
Veri analitiği iş yüklerinde join ve groupby gibi operasyonların temelini oluşturan karıştırma (shuffling) adımı, GPU bellek kısıtları nedeniyle sıkça yetersiz bellek (OOM) hatalarına yol açıyor. RapidsMPF kütüphanesi, GPU belleğinden büyük verileri işleyebilen harici bellek (out-of-core) mimarisiyle bu sorunu çözmeyi amaçlıyor. C++ ve Python arayüzleri sunan kütüphane, cuDF Polars ve NeMo-Curator gibi veri işleme çerçevelerinde karıştırma ve aktör ağı bileşenleriyle kullanılıyor.
Sekiz adet Blackwell GPU içeren DGXB200 sistemi üzerinde yapılan testlerde, her biri 20 GiB veri barındıran sekiz GPU birimiyle toplam 160 GiB veri aktarıldı. Bellek sınırı bulunmayan serbest senaryoda RapidsMPF saniyede yaklaşık 1,8 TiB küresel aktarım hızına ulaştı. Yapay olarak uygulanan bellek kısıtlamalarında ise alıcı taraf, aşırı bellek baskısını algılayarak veriyi doğrudan ana bilgisayar (host) belleğinde kabul etti ve GPU ile CPU arasındaki gereksiz veri gidip gelmelerini engelledi.
Cihaz bellek sınırı kademeli olarak 32 GiB seviyesinden 12 GiB seviyesine çekildiğinde sistem çökmeden çalışmayı sürdürdü. Aktarım hızı saniyede 1,79 TiB seviyesinden sırasıyla 480,2 GiB ve en yoğun baskıda 55,5 GiB düzeyine geriledi. PCIe Gen 5 veri yolu bant genişliğinin aktarımda ana darboğazı oluşturduğu gözlenirken, bellek yetersizliğinde verilerin doğrudan ana belleğe alınması sayesinde GPU'dan ana belleğe fazladan tahliye işlemine gerek kalmadı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.