Nvidia Groq 3 LPX uzun bağlamda saniyede 3 bin 400 token üretti
Öne çıkanlar
- Artificial Analysis testinde 100 bin bağlamda saniyede 3 bin 431 token üretildi.
- Sistem 256 adet LP30 işlem birimi ve toplam 128 GB SRAM bellek barındırıyor.
- SPEED-Bench kodlama testinde saniyede 4 bin 767 medyan token hızına ulaşıldı.
Nvidia, Vera Rubin platformu için geliştirdiği Groq 3 LPX çıkarım hızlandırıcısının ilk bağımsız performans testlerini paylaştı. Artificial Analysis tarafından gerçekleştirilen 100 bin token bağlam uzunluğundaki testte sistem, 31 milyar parametreli Gemma 4 modeliyle saniyede 3 bin 431 çıktı tokeni hızına ulaştı. Şirket, bu donanımın çoklu ajan sistemlerinde ve uzun bağlam gerektiren yapay zeka iş yüklerinde gecikmeyi en aza indirdiğini bildirdi.
Yüksek etkileşim hızı, sistemdeki 256 adet LP30 yerel işlem birimi (LPU) ve 128 GB SRAM bellek mimarisiyle sağlanıyor. Groq 3 LPX mimarisi, deterministik yürütme modeli sayesinde çipler arasındaki veri aktarımını derleyici seviyesinde saat döngüsüne kadar önceden planlıyor. Bu sayede küçük yığın boyutlarında ortaya çıkan iletişim gecikmeleri ve ilk bit gecikmesi en aza indiriliyor.
Sistem kodlama odaklı SPEED-Bench testinde ise saniyede 4 bin 767 medyan token hızına ulaştı. Groq 3 LPX, Vera Rubin NVL72 raflarıyla birlikte çalışarak prefill-decode ayrıştırması ve spekülatif kod çözme gibi farklı yapılandırmalarda 2 trilyon parametreyi aşan büyük modelleri destekleyebiliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.