OpenAI Jalapeño çipi Nvidia GPU mimarisinin çıkarım sınırlarını aşıyor
Öne çıkanlar
- Mevcut GPU mimarileri 1 trilyon parametreli modellerin çıkarımında teorik hızın yalnızca yüzde 10'unu veriyor.
- Blackwell serisindeki bölünmüş L2 önbellek yapısı 400 döngüye kadar ilave gecikme süresi ekliyor.
- OpenAI Jalapeño çipinde L2 önbelleği kaldırarak süperskalar zamanlama çekirdeği mimarisini tercih etti.
Büyük dil modellerinin çıkarım süreçlerinde karşılaşılan donanım darboğazları, teknoloji şirketlerini özel yapay zeka çipleri geliştirmeye yönlendirdi. Yayımlanan teknik analizde, Nvidia GPU mimarisinin çıkarım senaryolarında teorik bellek bant genişliğinin yalnızca yüzde 10'unu sunabildiği ve OpenAI'ın Jalapeño kod adlı çip tasarımıyla bu sınırlara çözüm aradığı aktarıldı.
Analize göre geleneksel GPU'lar, bellek gecikmesini binlerce paralel iş parçacığıyla gizlemeye odaklandığı için düşük toplu işlem boyutlu çıkarımlarda verim kaybı yaşıyor. Blackwell mimarisindeki birleşik L2 önbellek yapısı, çekirdekler arası erişimde 400 döngüye varan gecikmelere yol açarken merkezi ağ erişim denetleyicileri sistem genelinde tıkanıklık yaratıyor. OpenAI, Jalapeño mimarisinde L2 önbelleği kaldırarak ve her işlem birimine süperskalar zamanlama çekirdeği ekleyerek doğrudan paylaşımlı belleğe yazma modeline geçti.
Yapılan değerlendirmede, Nvidia'nın genel amaçlı programlama amacıyla benimsediği tasarım tercihlerinin model çıkarımında donanım duraksamalarına neden olduğu vurgulandı. Otomatik çekirdek üreten yapay zeka araçlarının gelişimiyle birlikte, özel çıkarım hızlandırıcılarının geleneksel GPU tasarımlarına kıyasla belirgin gecikme avantajı sağladığı kaydedildi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.