ArgoDrive büyük yapay zeka modellerini SSD üzerinden çalıştırdı
Öne çıkanlar
- 518 GB boyutundaki DeepSeek V4.1 modeli 128 GB bellekli M5 Max üzerinde saniyede 17,38 belirteç üretti.
- Seçici uzman okuması sayesinde ilk belirteç süresi tek sürücüde 31,5 saniyeden 18,3 saniyeye indi.
- Toplam aktarım bant genişliği yerine en yavaş okuma süresinin kısaltılmasına odaklanıldı.
Argonaut Labs araştırmacıları, uzmanlar karması mimarisindeki devasa yapay zeka modellerini doğrudan katı hal sürücülerinden çalıştırmayı sağlayan ArgoDrive projesini duyurdu. Apple M5 Max çipli ve 128 GB birleşik bellekli bir dizüstü bilgisayarda test edilen sistem, 518 GB boyutundaki DeepSeek V4.1-Flash modelini harici ve dahili depolama birimlerine bölüştürerek saniyede 17,38 üreteç hızına ulaştırdı. Yapılan optimizasyonlar, modelin bellek sınırlarını aşan ağırlıklarını yüksek verimlilikle diskten çekerek çalıştırıyor.
Geliştiriciler, standart önbellekleme döngüsünün katmandaki tüm uzmanları okumak yerine yalnızca yönlendiricinin seçtiği uzmanları okumasını sağlayan seçici okuma tekniğini devreye aldı. V4.1 modelinde 512 belirteçlik bir girdi katman başına 384 uzmandan sadece 187 tanesini tetiklediği için, gereksiz veri transferi engellendi. Bu değişiklik tek bir dahili sürücüde dahi metin işleme hızını 1,73 kat artırdı. Üç sürücülü kurulumda ise okuma işlemleri cihazların ölçülen aktarım kapasitelerine göre paylaştırıldı.
Sistemde ilk belirtecin üretilme süresi üç sürücülü konfigürasyonda 31,5 saniyeden 11,7 saniyeye kadar geriledi. Araştırma ekibi, GLM-5.3 ve Kimi K3 gibi daha büyük modellerde de çoklu sürücü ölçeklemesinin benzer performans artışları sağladığını açıkladı. Geliştirilen araç takımı ve ds4 çatallaması, Apple Silicon donanımlarında test edilmek üzere açık kaynak lisansıyla paylaşıldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.