Yapay zeka çip mimarileri veri taşıma darboğazını aşmaya odaklanıyor
Öne çıkanlar
- Moore Yasası'nın yavaşlaması, yapay zekaya özel hızlandırıcı mimarilerinin yaygınlaşmasını sağladı.
- Büyük dil modellerinde çıkarım aşaması, matris-vektör çarpımları nedeniyle bellek bant genişliğine bağımlı çalışıyor.
- NVIDIA, Blackwell mimarisiyle matris çarpımlarını tek iş parçacığı üzerinden tetiklenen asenkron bir yapıya dönüştürdü.
Bilgisayar mimarisinde Moore Yasası ve Dennard Ölçeklemesinin yavaşlamasıyla birlikte alana özgü mimariler öne çıktı. Günümüzde yapay zeka iş yükleri büyük ölçüde matris çarpımlarına dayandığı için GPU, TPU, LPU ve gofret ölçekli çipler gibi farklı donanım tasarımları geliştirildi. Bu mimariler arasındaki rekabet, hesaplama birimlerinin gücünden ziyade verinin çip üzerinde ne kadar hızlı taşındığına odaklanan bellek duvarı sorununu çözmeyi hedefliyor.
Pazar lideri NVIDIA, çok iş parçacıklı genel mimarisini korurken Tensor Core birimlerini bağımsızlaştırdı. Volta mimarisinde iş parçacığı düzeyinde eşzamanlı yürütülen matris çarpımları, Hopper ve Blackwell nesillerinde asenkron komutlara ve ayrılmış tensör belleklerine devredildi. Böylece ana işlem çekirdekleri, matris hesaplamaları arka planda sürerken dikkat mekanizması veya diğer doğrusal olmayan matematiksel işlemleri yürütebiliyor.
Yapay zeka modellerinin eğitim ve çıkarım aşamalarında bellek bant genişliği farklı sınırlamalara yol açıyor. Çıkarım sırasında her yeni belirteç üretimi için tüm ağırlıkların ve anahtar değer önbelleğinin taranması, sistemleri hesaplama sınırından bellek bant genişliği sınırına itiyor. Üreticiler, veri hareketini azaltmak için donanımsal doğrudan bellek erişimi ve mikro blok ölçekleme yöntemlerini donanıma entegre ediyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.