Nvidia Groq 3 LPX çıkarım hızlandırıcısının seri üretimine başladı
Öne çıkanlar
- Groq 3 LPX, Gemma 4 31B modelinde saniyede 3 bin 400 belirteç üretim hızına ulaştı.
- Yeni hızlandırıcı, en yakın alternatif platforma göre 4 kat daha hızlı tepki veriyor.
- Nebius, donanımı Token Factory çıkarım altyapısına entegre eden ilk bulut sağlayıcısı oldu.
Nvidia, Hot Chips etkinliğinde otonom yapay zeka sistemleri için geliştirdiği Groq 3 LPX çıkarım hızlandırıcısının tam üretime girdiğini duyurdu. Nvidia Vera Rubin platformunun bir uzantısı olarak konumlandırılan yeni hızlandırıcı, yüksek bağlamlı modellerde belirteç (token) üretim hızını artırarak gecikme sürelerini düşürmeyi hedefliyor. Şirket, donanımın özellikle yüzlerce çıkarım adımı gerçekleştiren yazılım geliştirme ve çok adımlı görev ajanları için tasarlandığını belirtti.
Artificial Analysis tarafından yapılan testlerde Groq 3 LPX, açık kaynaklı Gemma 4 31B modeli ve 100 bin belirteçlik bağlam penceresi altında saniyede 3 bin 400 çıktı belirteci üreterek rekor kırdı. Nvidia, sistemin en yakın rakip platforma kıyasla 4 kat daha hızlı tepki süresi sunduğunu açıkladı. Yeni donanımı bulut altyapısına ekleyeceğini bildiren ilk sağlayıcı Nebius oldu; platformun Nebius Token Factory üzerinden geliştiricilere sunulacağı kaydedildi.
Vera Rubin mimarisi; yedi çip ve beş farklı kabin tasarımıyla veri merkezlerindeki çoklu ajan iş yüklerini optimize ediyor. Groq 3 LPX, BlueField-4 DPU, Vera CPU ve Spectrum-6 SPX Ethernet bileşenleriyle entegre çalışarak watt başına düşen işlem kapasitesini ve çıkarım verimliliğini artırıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.