WiCi kablosuz GPU ve yerel yapay zeka sistemini tanıttı
Öne çıkanlar
- InferSSD motoru, tüketici donanımlarında 800 milyar parametreli modellerin SSD üzerinden GPU'ya aktarılmasını sağlıyor.
- Wi-Fi gecikmesi, özel çalışma zamanındaki önbellekleme ve eşzamansız yürütme teknikleriyle düşürülüyor.
- Kablosuz GPU özellikli WiCi One donanımı 2 bin 599 dolardan başlayan fiyatla satışa sunuldu.
Sistem araştırma laboratuvarı WiCi, yapay zeka modellerini yerel ağ üzerinde çalıştırmayı sağlayan kablosuz GPU altyapısını ve WiCi One adlı donanımını duyurdu. Geliştirilen sistem, veri gizliliğini korumak amacıyla büyük yapay zeka modellerinin harici bulut sunucuları yerine yerel cihazlarda çalıştırılmasını hedefliyor. Şirket, özel çalışma zamanı yazılımıyla Wi-Fi üzerinden yapılan binlerce küçük GPU çağrısının yarattığı gecikmeyi önbelleğe alma ve eşzamansız yürütme yöntemleriyle azaltıyor.
Araştırma ekibi, kısıtlı donanımlarda büyük modellerin çalıştırılabilmesi için InferSSD adlı açık kaynaklı bir çıkarım motoru geliştirdi. Bu sistem, uzman model ağırlıklarını SSD üzerinde tutarak çalışma kümesini GPU'ya anlık olarak aktarıyor ve tüketici sınıfı donanımlarda 800 milyar parametreli modellerin çalışmasına imkan veriyor. Ayrıca geliştirilen zamanlama mimarisi, farklı uygulamaların bellek üzerindeki model ağırlıklarını ortak kullanmasını sağlayarak tekrarlanan yüklemeleri engelliyor.
WiCi, geliştirdiği teknolojileri bir araya getiren ilk ticari ürünü WiCi One'ı 2 bin 599 dolardan başlayan fiyatlarla satışa sundu. Evler, stüdyolar ve iş yerleri için tasarlanan cihaz, kablosuz GPU işlem gücünü yerel ağdaki cihazlara paylaştırıyor. Şirket ayrıca geliştiricilerin yerel GPU işlem gücüne erişebilmesi için standart API ve sürücü entegrasyonları sağlayan bir yazılım geliştirme kiti sunuyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.