Yedi adet ESP32S3 mikrodenetleyiciyle BitNet tabanlı küme kuruldu
Öne çıkanlar
- 500 milyon parametreli model yedi adet ESP32S3 çipine paylaştırıldı.
- Bir ana birim belirteçleri işlerken altı birim dörder Transformer bloğunu çalıştırıyor.
- Mikrodenetleyiciler arasındaki veri iletimi SPI ardışık bağlantı hattıyla gerçekleşiyor.
Açık kaynaklı bir donanım projesi, 1,58-bit BitNet mimarisine dayanan 500 milyon parametreli bir dil modelini yedi adet ESP32S3 mikrodenetleyiciden oluşan bir küme üzerinde çalıştırdı. Dağıtık işlem hattı mimarisini temel alan sistemde bir adet ana birim ve altı adet hesaplama birimi görev yapıyor. Mikrodenetleyiciler arasındaki iletişim, yüksek hızlı SPI ardışık bağlantı hattı üzerinden sağlanıyor.
Sistem işleyişinde ana birim girdi metnini alarak belirteçlere ayırıyor ve flash bellekte saklanan INT4 formatındaki katmandan gömme vektörlerini üretiyor. Üretilen vektörler hesaplama birimlerine aktarılıyor ve her birim dörder Transformer bloğunu yürütüyor. İşlem hattında 1,58-bit dikkat ve çok katmanlı algılayıcı katmanları ile PSRAM üzerinde tutulan KV önbelleği çalışıyor.
Hesaplama birimlerindeki işlemler tamamlandıktan sonra elde edilen ara vektör ana birime geri dönüyor. Ana birim, son katman normalizasyonu ve açgözlü örnekleme adımlarını tamamlayarak bir sonraki belirteç çıktısını oluşturuyor. Proje, model ağırlıklarını optimize etmek amacıyla Python tabanlı kuantizasyon araçları ve mikrodenetleyici tarafında assembly ile hızlandırılmış kod parçaları barındırıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.