Nvidia Grace Blackwell sunucularında yeni iş çizelgeleme modeli kullanılabilir kapasiteyi artırdı
Öne çıkanlar
- İşleri InfiniBand yerine NVLink üzerinde tutmak dağıtık yapay zeka eğitimindeki yüzde 43'lük performans kaybını önlüyor.
- Her kabinde iki yedek düğüm bırakılarak oluşturulan 16 düğümlü dilimler, kullanılabilir GPU kapasitesini yüzde 27 artırdı.
- Kabin duyarlı yerleşim, 512 GPU üzerindeki model ön eğitiminde iterasyon süresini 1,59 saniyeden 1,39 saniyeye düşürdü.
SkyPilot ekibi, Nvidia'nın 72 GPU barındıran GB200 NVL72 kabin sistemlerinde donanım arızalarının yol açtığı kapasite kayıplarını ve iletişim darboğazlarını azaltan yeni bir iş çizelgeleme yaklaşımı yayımladı. Geleneksel sistemlerde düğümler arası iletişim InfiniBand üzerinden sağlandığında yapay zeka eğitim performansı yüzde 43 oranında düşebiliyor. NVL72 mimarisi tüm kabini birleşik bir NVLink yapısıyla birbirine bağlayarak saniyede 130 terabayt toplam dahili bant genişliği sunuyor.
Araştırmacılar, donanım arızaları karşısında 18 düğümlü tam kabin yerine iki yedek düğüm içeren 16 düğümlü dilimler kullanmanın sistem güvenilirliğini artırdığını tespit etti. Yüzde 2 düğüm arıza oranına sahip üretim kümelerinde yapılan modellemeler, bu stratejinin tam kabin tahsisine kıyasla kullanılabilir GPU kapasitesini yüzde 27 artırdığını ortaya koydu. Kabin içinde yedek düğüm tutulması, tek bir düğüm arızalandığında tüm kabinin devre dışı kalmasını önleyerek işlerin kesintisiz sürmesini sağlıyor.
SkyPilot Platform bünyesindeki topoloji duyarlı çizelgeleyici, çok düğümlü işleri aynı kabin içinde tutarak InfiniBand darboğazını ortadan kaldırıyor. Nvidia GR00T ekibinin 512 GPU ile yürüttüğü ön eğitim testlerinde kabin duyarlı yerleşim eğitim verimini yüzde 14,4 artırdı. Ekip, bu tür akıllı çizelgeleme ve otomatik parçalanma giderme yöntemlerinin 10 bin GPU kapasiteli bir kümede günlük yaklaşık 400 bin dolar tasarruf sağladığını hesapladı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.