Cerebras trilyon parametreli yapay zeka modellerini çalıştırma yöntemini açıkladı
Öne çıkanlar
- Cerebras, 3 trilyon parametreli Kimi K3 modelini 59 adet WSE-3T çipinde çalıştırdı.
- Model ağırlıkları çipte sabit kalırken çipler arasında sadece aktivasyonlar aktarılıyor.
- Boru hattı mimarisiyle saniyede 1000 ile 2000'in üzerinde belirteç hızına ulaşıldı.
Yapay zeka çip üreticisi Cerebras, trilyon parametreli büyük dil modellerini wafer ölçekli çipleri üzerinde nasıl çalıştırdığını teknik bir yazıyla duyurdu. Tek bir WSE-3T çipinde 44 GB çip üstü bellek bulunuyor. Şirket, çok trilyon parametreli modelleri birden fazla wafer üzerine boru hattı mimarisiyle yayarak saniyede 1000 ile 2000'in üzerinde belirteç üretim hızına ulaştığını aktardı.
Sistem mimarisini somutlaştırmak için yaklaşık 3 trilyon parametreye sahip açık kaynaklı Kimi K3 modeli örnek alındı. 4 bit ağırlık kuantizasyonuyla her bir katmanın boyutu yaklaşık 16 GB olarak hesaplandı. Çip üzerinde ek önbellek alanı gerektiren yoğun katmanlar için çip başına bir katman, doğrusal dikkat katmanları için ise çip başına iki katman ayrıldı. Bu hesaplama doğrultusunda Kimi K3 modelinin tamamını barındırmak için toplam 59 adet WSE-3T çipi kullanıldı.
Çipler arası bağlantıda model ağırlıkları çiplerde sabit kalırken yalnızca katman aktivasyonları Ethernet üzerinden RDMA ile aktarılıyor. Sistem boru hattını mikro yığınlarla besleyerek farklı istekleri eş zamanlı işliyor. Şirket, bu tasarım sayesinde çiplerin bekleme süresini ortadan kaldırdığını ve bellek kısıtlamalarını yeni çipler ekleyerek aştığını belirtti.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.