İki DGX Station GB300 doğrudan kablolarla bağlandı
Öne çıkanlar
- İki 400G DAC kablosu ile bağlanan sistemler hat kapasitesinin yüzde 98'ini kullanarak saniyede 98 GB NCCL hızına ulaştı.
- GLM-5.2 modeli iki istasyona bölündüğünde 32 eşzamanlı akışta çıktı hızı 11 kat artarak saniyede 1.525 tokene yükseldi.
- DeepSeek V4.1 Flash modeli ayrıştırılmış çıkarım mimarisiyle 256 akış altında saniyede 5.248 çıktı token üretti.
StorageReview laboratuvarında ASUS ExpertCenter Pro ET900N G3 ile HP ZGX Fury AI Station modelleri doğrudan birbirine bağlandı. İki adet 400G doğrudan bağlı bakır kablo ve ConnectX-8 SuperNIC bağlantı noktaları kullanılarak kurulan küme, toplam 800 Gb/s bant genişliği sağladı. Testlerde NCCL veri aktarımı hat hızının yüzde 98'ine ulaşarak saniyede 98 GB seviyesini gördü ve GPUDirect RDMA gecikmesi 1,46 mikrosaniye olarak ölçüldü.
Yapay zeka çıkarım testlerinde iki istasyon, tensör paralelliği ve ön doldurma ile kod çözme aşamalarının ayrıştırılması yöntemleriyle çalıştırıldı. Tek bir sistemde Grace belleğine taşan 433 GB boyutundaki GLM-5.2 modeli, iki B300 GPU üzerine bölünerek tamamen HBM3e belleğe sığdırıldı. Bu mimari değişiklik sayesinde tek istasyonda 32 eşzamanlı akışta saniyede 139 olan çıktı token hızı, iki istasyonlu kümede 11 kat artışla 1.525 seviyesine çıktı.
Daha küçük modellerde uygulanan ön doldurma ve kod çözme ayrımı da eşzamanlı istek yüklerinde belirgin verim sağladı. DeepSeek V4.1 Flash modeli 256 akışta saniyede 5.248 çıktı token üreterek test grubundaki en yüksek hıza ulaştı. MiniMax-M3 testinde ise tek kulede tükenen anahtar ve değer önbelleği darboğazı aşılarak uzun metinlerde işlem kapasitesi 7 katına çıkarıldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.