Cedana yapay zeka token hacmini GPU ihtiyacina donusturen arac sundu
Öne çıkanlar
- Llama 3.3 70B modelinde aylık 1 trilyon token işlemek için yaklaşık 367 adet H100 GPU gerekiyor.
- Yeni nesil B200 yongaları uzman karışımı modellerde H100 modeline kıyasla 21 kata kadar daha yüksek hız sağlıyor.
- Aynı iş yükü eski nesil Nvidia A100 donanımında 815 işlemci ve 102 sunucu düğümü gerektiriyor.
Kapasite planlama platformu Cedana, yapay zeka projelerinde kullanılan token hacmini donanım gereksinimine çeviren yeni bir hesaplayıcı yayımladı. Büyük dil modellerinin büyüme metriği olarak token sayılarının yaygınlaşması, gerçek altyapı maliyetlerinin öngörülmesini zorlaştırıyordu. Şirket, bu belirsizliği gidermek amacıyla farklı modellerin ve iş yüklerinin kaç adet GPU gerektirdiğini hesaplayan açık bir kaynak geliştirdi.
Hesaplama sonuçlarına göre, Llama 3.3 70B modelinde ayda 1 trilyon token işlemek için ortalama 367 adet Nvidia H100 GPU gerekiyor. Benzer bir iş yükü yeni nesil B200 mimarisinde 92 adet işlemciye kadar düşerken, eski nesil A100 kullanıldığında 815 işlemciye çıkıyor. Donanım hızları ölçülürken saniye başına işlenen token sayısı, girdi ve çıktı token dengesi ile yüzde 50 ortalama kapasite kullanım oranı temel alınıyor.
Araç, büyük uzman karışımı mimarisine sahip modellerde B200 yongalarının bellek genişliği ve FP4 desteği sayesinde H100 karşısında 4 ile 21 kat arasında hız farkı yarattığını ortaya koydu. Şirket, elde edilen verilerin planlama amaçlı olduğunu belirterek kesin satın alma öncesinde özel iş yüklerinin doğrudan ölçülmesi gerektiğini aktardı. Hesaplama aracı komut önbelleğe alma ve spekülatif kod çözme gibi optimizasyonları henüz hesaba katmıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.