Etched Sohu çipi transformer çıkarımında Nvidia GPU'larına meydan okuyor
Öne çıkanlar
- Etched Sohu, transformer dikkat işlemlerini doğrudan silikona gömerek programlanabilir katmanı kaldırıyor.
- Sekiz çipli Sohu sunucusunun Llama 70B modelinde saniyede 500 bin token ürettiği bildirildi.
- Donanım; MoE mimarilerini, görsel modelleri, difüzyon ağlarını ve model eğitimini desteklemiyor.
Yapay zeka çipi girişimi Etched AI, transformer mimarisine özel olarak tasarladığı Sohu ASIC çipini duyurdu. Şirket, sekiz çipli bir Sohu sunucusunun Llama 70B modelinde saniyede 500 bin token işleme hızına ulaştığını açıkladı. Bu performans, transformer dikkat (attention) mekanizmasının yazılım yerine doğrudan sabit devreler olarak silikona entegre edilmesiyle sağlanıyor. Donanım, çekirdek başlatma gecikmelerini ve bellek yönetim yüklerini ortadan kaldırarak tekil isteklerde GPU'lara kıyasla yüksek verim vadediyor.
Sohu, her çipte 144 GB HBM3E bellek barındırıyor ve Nvidia H100'e kıyasla yaklaşık 1,8 kat daha yüksek bellek bant genişliği sunuyor. Ancak bu donanımsal özelleştirme, çipin programlanabilirlik yeteneğini tamamen devre dışı bırakıyor. Çip; difüzyon modellerini, görsel modelleri, durum uzayı modellerini (SSM) ve DeepSeek V4 gibi popüler uzman karışımı (MoE) mimarilerini çalıştıramıyor. Model eğitimini desteklemeyen donanım, yalnızca çıkarım (inference) amacıyla kullanılabiliyor.
Toplamda yaklaşık 800 milyon dolar yatırım toplayan ve 1 milyar doların üzerinde müşteri sözleşmesi imzaladığını bildiren Etched, ilk sunucu kabinlerini 2026 yazında teslim etmeyi planlıyor. Bağımsız kıyaslama testlerinin ve fiyatlandırma verilerinin henüz bulunmaması, donanımın özellikle yüksek eşzamanlı istek işleyen üretim ortamlarındaki maliyet avantajının netleşmesini engelliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.