MLC ekibi yapay zeka ajanları için TIRx Harness derleyici altyapısını duyurdu
Öne çıkanlar
- TIRx Harness, KDA çekirdeklerinde Flash Linear Attention sistemine kıyasla 6,84 kata varan hızlanma sağladı.
- Ajanların donanımı daha doğrudan kontrol edebilmesi için PTX seviyesine yakın minimal bir derleyici yüzeyi kuruldu.
- Merkezi kıyaslama sunucusu KCoral, eşzamanlı ajanların test ölçümlerini birbirinden izole ederek yanıltıcı sonuçları engelliyor.
- Sistem bünyesindeki 60'tan fazla optimize çekirdek, ajanların stratejileri doğrudan transfer etmesine zemin hazırlıyor.
MLC ekibi, yapay zeka ajanlarının doğrudan hızlı ve hatasız GPU çekirdekleri geliştirmesini sağlayan açık kaynaklı TIRx Harness sistemini tanıttı. Sistem; donanıma yakın minimal bir derleyici temeli, bilgi tabanı, hata analiz araçları ve merkezi test sunucusundan oluşuyor. Yapılan testlerde Kimi Delta Attention çekirdekleri, ileri geçişte FlashKDA sistemine göre 2,94 kat, geri geçişte ise Flash Linear Attention sistemine göre 6,84 kat geometrik ortalama hızlanma elde etti.
Geliştiriciler, kodlama ajanlarının GPU optimizasyonu yaparken donanım davranışını tahmin etmek ve zamanlamaya bağlı senkronizasyon hatalarını çözmek için yüksek oranda token harcadığını gözlemledi. TIRx bu belirsizlikleri gidermek amacıyla soyutlama katmanını incelterek doğrudan PTX seviyesinde programlama olanağı sunuyor. Sistem bünyesindeki veri yarışı analiz araçları ve 60'tan fazla optimize edilmiş çekirdek içeren kütüphane, ajanların başarılı desenleri hızla uyarlamasına yardımcı oluyor.
Farklı ajanların GPU kaynaklarını çakışmadan kullanabilmesi için test süreçleri KCoral adlı merkezi sunucu mimarisiyle ayrıldı. NVIDIA Blackwell mimarisi üzerinde yürütülen deneylerde sistem, MiniMax Sparse Attention ve Multi-head Latent Attention gibi modellerde 1,33 kat ile 6,84 kat arasında hız kazanımı sağladı. Geliştirici ekip, sonraki aşamada altyapıyı daha düşük seviyeli donanım mekanizmalarına ve birleşik mega çekirdeklere uyarlamayı planlıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.