Universal Attention büyük dil modellerinde bellek yükünü azaltıyor
Öne çıkanlar
- Universal Attention, çıkarım sırasında KV-cache boyutunu doğal dilde 10 kat azaltıyor.
- Model, 16 bin belirteç uzunluğundaki bağlamlarda 25 kat önbellek sıkıştırmasına ulaştı.
- Bileşik sönümleme mekanizması, Softmax ve RoPE yapılarını koruyarak uyarlanabilir budama sağlıyor.
Araştırmacılar, büyük dil modellerinin çıkarım aşamasındaki yüksek bellek gereksinimini düşürmek amacıyla Universal Attention adlı yeni bir mimari geliştirdi. 6 Ekim 2026 tarihinde paylaşılan çalışma, modellerin anahtar-değer önbelleğini (KV-cache) etkili biçimde budayarak donanım kısıtlarını aşmayı hedefliyor. Mevcut sönümleme tabanlı yöntemlerin kayan pencere benzeri basit çıkarma kalıplarına sıkışması sorununa odaklanan ekip, RoPE konumsal gömmelerini ve Softmax mekanizmasını koruyan uçtan uca eğitilebilir bir çerçeve kurdu.
Geliştirilen mimari, karmaşık anahtar istatistiklerini ve etkileşimlerini yakalayan bileşik bir sönümleme mekanizması kullanıyor. Bu mekanizma, dikkat hesaplamasına en az katkı sağlayan belirteçleri tespit ederek doğal ve uyarlanabilir bir budama ölçütü görevi üstleniyor. Böylece model, çıkarım sırasında performanstan ödün vermeden gereksiz verileri bellekten temizliyor.
Yapılan deneylerde Universal Attention, doğal dil ve sentetik görev verilerinde 10 kat önbellek sıkıştırması sağladı. Yöntem, budanmamış temel modellere kıyasla görev performansını artırırken, 16 bin belirteç uzunluğundaki bağlam testlerinde 25 kat sıkıştırma oranına ulaştı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.