Yapay zeka çıkarım talebi çip mimarisini dönüştürüyor

Yapay zeka sektöründe ağırlık model eğitiminden çıkarım aşamasına kaydı. Akıl yürüten modellerin ve otonom aracıların yaygınlaşması, sunucular üzerindeki sorgu yükünü hızla artırdı. Nvidia CEO'su Jensen Huang, GTC 2026 etkinliğinde sektörün bir dönüm noktasına geldiğini açıkladı. Geleneksel GPU mimarileri paralel ön doldurma aşamasında yüksek başarı gösterirken, belirteç üretiminde bellek bant genişliği yetersiz kalıyor. Bu durum Nvidia H100 gibi işlemcilerin çalışma süresinin yüzde 50 ila 80'inde boşta beklemesine yol açıyor.

Donanım üreticileri bellek darboğazını aşmak amacıyla farklı mimari çözümlere yöneldi. Nvidia, Groq şirketinin teknolojilerini bünyesine katarak geliştirdiği Groq 3 LPU birimini tanıttı. Sistem, 500 megabaytlık entegre SRAM ile GPU'ya kıyasla yedi kat daha yüksek bellek bant genişliği sunuyor. Amazon Web Services ise Trainium çiplerini Cerebras üretimi plaka boyutundaki motorlarla birleştiren ikili bir yapı kurdu. Girişimlerden d-Matrix yongaları DRAM katmanları üzerine yerleştirirken, Majestic Labs tek bir sunucu kabininde 128 terabayta kadar DRAM erişimi sağlayan bağlantı teknolojisi geliştirdi.

Donanım tarafındaki yapısal değişimlere yazılım ve sayı formatı optimizasyonları eşlik ediyor. Nvidia, NVFP4 adlı 4 bitlik sayı formatıyla DeepSeek-R1 modelinde doğruluk kaybı yaşamadan performansı üçe katladı. Tensordyne logaritmik hesaplama yöntemiyle güç tüketimini onda bire indirmeyi hedefliyor. Etched ise doğrudan transformer mimarisine özel silikon çipler tasarlıyor. Sektör temsilcileri büyük modellerin çalıştırılmasında tek bir çip türü yerine uzmanlaşmış donanımların bir arada kullanıldığı karma sistemlerin zorunlu hale geldiğini belirtiyor.