H100 çipleri gerçek zamanlı video üretiminde Blackwell hızına ulaştı
Öne çıkanlar
- 8 adet H100 GPU üzerinde 14,37 saniyelik video üretimi 13,51 saniyeye indirildi.
- Elde edilen toplam hız artışının yüzde 93'ü model dışındaki bellek ve veri aktarımı optimizasyonlarından sağlandı.
- H100 kümesi, yeni nesil B200 kümesinin 12,88 saniyelik üretim süresine yüzde 5 farkla yaklaştı.
Mühendisler, MiniMax H3 difüzyon video modelini Hopper mimarisine sahip 8 adet Nvidia H100 ve H200 GPU üzerinde gerçek zamanlıdan daha hızlı çalıştırmayı başardı. Hao AI Lab tarafından geliştirilen ve Blackwell mimarili B200 çipleri için özelleştirilen FastH3 modeli, yapılan sistem optimizasyonlarıyla önceki nesil donanımlarda da benzer performansa ulaştı.
Araştırma ekibi, difüzyon adımlarının dörde indirilmesi ve seyrek dikkat algoritmalarının uygulanmasının ardından asıl darboğazın model hesaplamasından kaynaklanmadığını tespit etti. CPU ve GPU arasındaki veri transferleri, 67 GB boyutundaki metin kodlayıcının PCIe üzerinden taşınması ve VAE kod çözme süreçleri bellek optimizasyonlarıyla GPU üzerinde tutularak işlem süreleri önemli ölçüde düşürüldü.
Yapılan optimizasyonların sonucunda 8 adet H100 kümesinde 14,37 saniyelik bir video 13,51 saniyede üretildi. Bu süre, 8 adet B200 kümesinin 12,88 saniyelik değerine oldukça yaklaşırken, hız artışının yaklaşık yüzde 93'ünün model dışı sistem iyileştirmelerinden kaynaklandığı bildirildi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.