Araştırmacılar LLM çıkarım sistemlerini tasarlayan RoofLang dilini tanıttı
Öne çıkanlar
- RoofLang, LLM çıkarım mimarilerini optimize etmek için uygulamadan bağımsız bir değerlendirme sunuyor.
- DeepSeek V4, kompakt KV önbellek tasarımıyla diğer modellere göre 3,5 ila 39,5 kat daha yüksek verime ulaştı.
- Optimizasyon aracısı, NVIDIA B300 üzerinde DeepSeek V4 Pro performansını yüzde 50,1'e kadar artırdı.
Araştırmacılar, büyük dil modellerinin çıkarım sistemlerini yapay zeka aracılığıyla tasarlamayı sağlayan RoofLang adlı alana özgü programlama dilini 11 Eylül 2026 tarihinde duyurdu. Mevcut optimizasyon tekniklerinin ağırlıklı olarak mevcut yazılım yığınlarını temel alan profil çıkarma yöntemlerine bağımlı kaldığı belirtildi. Yeni çalışma; genel bir iş yükü gösterimi, doğrulanabilir bir mutasyon alanı ve uygulamadan bağımsız bir değerlendirici sunarak çıkarım mimarisinin otomatik olarak optimize edilmesini hedefliyor.
Yapılan testlerde RoofLang, DeepSeek V4 serisi modellerin diğer temsilci modellere kıyasla 3,5 ile 39,5 kat daha yüksek tepe kod çözme verimi sunduğunu ortaya koydu. Araştırmacılar, bu performans farkının toplam parametre sayısıyla orantısız olduğunu ve büyük ölçüde bellek trafiğini azaltıp daha büyük yığın boyutlarına olanak tanıyan kompakt KV önbellek mimarisinden kaynaklandığını aktardı.
Çalışma kapsamında görevlendirilen kalıcı bir optimizasyon aracısı, NVIDIA B300 donanımı üzerinde DeepSeek V4 Pro için yeni sistem mimarileri keşfetti. Geliştirilen bu yeni mimariler sayesinde modelin verim ve etkileşim hızında yüzde 6,23 ile yüzde 50,1 arasında iyileşme kaydedildi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.