Skymizer 700 milyar parametreli modeller için HTX301 hızlandırıcısını duyurdu
Öne çıkanlar
- HTX301, 700 milyar parametreli dil modellerini yaklaşık 240 vat güçle tek bir PCIe kartında çalıştırıyor.
- Donanım, NVLink ara bağlantıları ve sıvı soğutma gerektiren GPU kümelerine olan ihtiyacı kaldırıyor.
- LISA komut kümesini kullanan kart, 4 milyardan 700 milyar parametreye kadar aynı mimariyle ölçekleniyor.
Skymizer, HyperThought platformu kapsamındaki ilk referans yongası olan HTX301 adlı yapay zeka hızlandırıcı kartını tanıttı. Tek bir PCIe kartı üzerinde çalışan donanım, 700 milyar parametreye kadar olan büyük dil modellerinin çıkarım süreçlerini harici bir GPU kümesine ihtiyaç duymadan yerel sistemlerde yürütüyor. Sistem, bu ölçekteki modelleri yaklaşık 240 vat güç tüketimiyle çalıştırmayı hedefliyor.
Donanımın mimarisi, geleneksel GPU kümelerinden farklı olarak ön doldurma (prefill) ve kod çözme (decode) iş yüklerini birbirinden ayırıyor. Tasarımında kod çözme aşamasına öncelik veren yonga, LISA komut kümesini kullanarak 4 milyardan 700 milyar parametreye kadar uzanan modelleri aynı mimari üzerinde destekliyor. Bu yapı, NVLink veya NVSwitch gibi yüksek maliyetli ara bağlantı teknolojilerine ve sıvı soğutma sistemlerine olan bağımlılığı ortadan kaldırıyor.
Şirket, tek kart mimarisi sayesinde veri egemenliğini korumayı ve kurumsal verilerin dışarı çıkmasını engellemeyi amaçlıyor. Erken erişim programı açılan donanım, çoklu düğüm orkestrasyonunu devre dışı bırakarak işletmeler için öngörülebilir maliyet ve kararlı performans sunmayı hedefliyor. Belirtilen teknik değerlerin genel kullanıma sunulacak nihai sürüm öncesinde güncellenebileceği kaydedildi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.