Yapay zeka kendi çıkarım hızlandırıcısını tasarladı
Öne çıkanlar
- openTPU, yapay zeka ajanları tarafından tasarlanan açık kaynaklı bir donanım hızlandırıcısı olarak geliştirildi.
- Tasarım, Xilinx Kintex-7 FPGA üzerinde on farklı dil modelini simülatörle birebir uyumlu şekilde çalıştırdı.
- Mimari, bellek bant genişliğinin yüzde 94'üne kadar çıkarak 4-bit ağırlıklarla çıkarım hızını yüzde 45 artırdı.
Açık kaynaklı yapay zeka hızlandırıcı projesi openTPU, yapay zeka ajanlarının doğrudan donanım tasarımı yapabilmesini sağlayan bir mimariyle yayımlandı. Proje, yapay zekanın kendi çıkarım işlemlerini yürütecek çipleri tasarlayıp tasarlayamayacağını araştırıyor. Xilinx Kintex-7 tabanlı Inspur YPCB-00338 FPGA kartı üzerinde çalışan donanım, on farklı güncel dil modelini gerçek ağırlıklarıyla işliyor ve simülatör ile birebir aynı belirteç çıktılarını üretiyor.
Donanımın tüm bileşenleri tek bir monorepoda açık kaynak olarak yer alıyor. SistemVerilog ile yazılan RTL tasarımı, özel komut kümesi mimarisi, bit seviyesinde simülatör, çekirdek dili, derleyici ve PCIe kartını süren ana bilgisayar yazılımı bu depoda bulunuyor. Tasarımda önbellek veya gizli zamanlama yer almıyor; döngü başına bir komut işleyen sıralayıcı doğrudan DMA, sistolik matris, vektör ve kuantizasyon birimlerini yönetiyor. LiteDRAM bellek denetleyicileri ise kart üzerindeki DDR3 kanallarını ana bilgisayara ihtiyaç duymadan 12 saniyede kalibre ediyor.
Testlerde LFM2.5, Qwen3, SmolLM3 ve Phi-4-mini gibi modeller 4-bit ve int8 formatlarında başarıyla çalıştırıldı. Kartın 4 GiB sınırını aşan uzman karması modelleri için ana bellekten uzman aktarımı yöntemi uygulandı. LFM2.5-8B modelinde saniyede 10,6 belirteç hızına ulaşıldı. Geliştiriciler, Vivado optimizasyonları ve LiteDRAM bant genişliği verimliliği üzerinde çalışmayı sürdürüyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.