Nvidia kurumsal sunucular için RTX Pro 4500 Blackwell modelini tanıttı
Öne çıkanlar
- RTX Pro 4500, 165W güç tüketimiyle 350W'lık L40S ile benzer çıkarım hızına ulaştı.
- Selefi L4 modeline kıyasla kısa bağlamlı görevlerde yaklaşık 3 kat yüksek çıktı verdi.
- 32 GB GDDR7 bellek, 8K uzun bağlamlı testlerde KV önbelleği nedeniyle darboğaz oluşturdu.
Nvidia, mevcut veri merkezleri ve uç bilişim altyapıları için geliştirdiği tek yuvalı RTX Pro 4500 Blackwell Server Edition ekran kartını duyurdu. Pasif soğutmalı ve 165 watt güç tüketimine sahip yeni donanım, 32 GB GDDR7 bellek ve 800 GB/sn bant genişliği barındırıyor. Şirketin sunucu ailesindeki L4 modelinin yerini alan kart, beşinci nesil Tensor çekirdekleri, FP4 desteği ve 16 GB'lık iki bölüme ayrılabilen Multi-Instance GPU kabiliyetiyle geliyor.
Dell PowerEdge R770 sunucusunda gerçekleştirilen vLLM çevrim içi çıkarım testlerinde kart, kısa bağlamlı görevlerde 350 watt tüketen çift yuvalı Ada mimarili L40S modelinin performansını yakaladı. Ministral 3 14B modelinde saniyede 1.107 belirteç üreten donanım, yerini aldığı L4'e kıyasla üç kata varan hız artışı sundu. 512 giriş ve çıkış belirteçli sohbet senaryolarında yüksek verimlilik gösteren kart, güç tüketimini yarıdan fazla düşürerek kurumsal iş yüklerinde dengeli bir profil çizdi.
Bağlam boyutu 8 bin belirtece çıktığında ise kartın 32 GB bellek sınırı performans eğrilerini düzleştirdi. Bu uzunluktaki RAG ve belge işleme testlerinde KV önbelleği sınırına ulaşan RTX Pro 4500, 48 GB bellekli L40S modelinin yüzde 17 ila 33 gerisinde kaldı. 96 GB belleğe sahip üst seviye RTX Pro 6000 ise yüksek eşzamanlılıklarda tırmanışını sürdürerek iki kattan fazla işlem hızı sağladı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.