Infinite-Parameter LLMs canlı veriden ağırlık üretiyor

16 Eylül 2026'da arXiv'e sunulan bir çalışma, dil modellerinin canlı etkileşim sırasında sağlanan bilgileri doğrudan ağırlıklarına yansıtmasını amaçlayan Infinite-Parameter LLM adlı bir mimari önerdi. Yaklaşım, kullanıcıların verdiği gerçekler ve düzeltmeler gibi çalışma zamanındaki verileri her istekte yeniden isteme eklemek yerine modelin davranışına ve bilgisine kalıcı biçimde uyarlamayı hedefliyor. Çalışma, yöntemi mevcut modellerle karşılaştırmak için bir değerlendirme protokolü de tanımlıyor.

Önerilen mimaride kompakt bir hypernetwork, çalışma zamanında alınan verileri ortak bir temel ağın düşük dereceli ağırlık değişimine dönüştürüyor. Böylece model, tüm olası ağırlıkları sabit bir depoda tutmak yerine canlı verilerden yeni ağırlıklar üretebiliyor. Saklanan model ayak izi sabit kalırken üretilebilen etkili ağırlıkların kapsamı teorik olarak sınırsız kabul ediliyor. Bu yönüyle yöntem, Mixture-of-Experts mimarilerindeki büyük parametre bankalarından esinleniyor ancak ağırlıkları önceden depolamak yerine veriden oluşturuyor.

Önceki ağırlık üreticilerinin bağlamı tek sefer okuyup ağırlıkları sabitlediği belirtilirken bu öneri, üreticinin gizli kodu üzerinde Bayesian bir inanç taşıyor ve oturum ilerledikçe bu inancı çevrim içi güncelliyor. Araştırmacılara göre bu tasarım, çalışma zamanında edinilen bilgiyi istem bağlamında taşımaya kıyasla bağlam penceresini boşaltabilir, bilgiyi turlar arasında koruyabilir ve hesaplama maliyetini istekler arasında paylaştırabilir. Özet, henüz deneysel sonuç sunmuyor; değerlendirme, bağlam içi öğrenme ve bilgi getirme yöntemleriyle karşılaştırmayı hedefliyor.