OpenAI yeni yapay zeka çıkarım çipi Jalapeno'yu tanıttı
Öne çıkanlar
- Jalapeno, teorik tepe işlem gücü yerine uçtan uca gecikmeyi ve enerji verimliliğini merkeze alıyor.
- Ağ mimarisinde Broadcom Tomahawk 6 anahtarlarıyla en fazla iki atlamalı Clos topolojisi kuruldu.
- Donanım tasarımında Google XLS ve yapay zeka destekli yüksek seviyeli sentez araçlarından yararlanıldı.
OpenAI, Hot Chips 2026 konferansında kendi geliştirdiği genel amaçlı yapay zeka çıkarım hızlandırıcısı Jalapeno'yu tanıttı. Çip, OpenAI'ın kendi iş yüklerine odaklanırken aynı zamanda sınır modellerin ihtiyaçlarına yanıt verecek genel bir mimari sunuyor. Tasarım, saf teorik işlem gücünü maksimize etmek yerine uçtan uca çıkarım gecikmesini ve kullanıcı deneyimini doğrudan etkileyen parametreleri optimize etmeyi hedefliyor.
Mimaride, tekil kullanıcı gecikmesini düşürmek amacıyla ön dolgu (prefill) ve kod çözme (decode) aşamaları dengelendi. OpenAI, bellek bant genişliği ile kullanıcı başına üretim hızı arasındaki açığı kapatmak için spekülatif kod çözme ve KV önbellek optimizasyonlarına yer verdi. Şirket, iş yüklerine göre özelleşmiş farklı hızlandırıcılar kullanmak yerine, tüm adımları tek bir dengeli çipte toplamayı tercih etti.
Sistem düzeyinde Broadcom'un 102,4 Tbps kapasiteli Tomahawk 6 Ethernet anahtarlarıyla eş zamanlı tasarım yapıldı. İki atlamalı Clos topolojisi kurularak gerilim paralelliği ve MoE iş yükleri için öngörülebilir gecikme sağlandı. Donanım bloklarının optimizasyonu ve doğrulanması süreçlerinde ise açık kaynaklı Google XLS aracı ve yapay zeka destekli sentez yöntemleri kullanıldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.