Araştırmacılar kendi bağlamını yöneten yeni dil modeli mimarisini duyurdu

Yapay zeka araştırmacıları, bağlam yönetimini harici araçlar yerine doğrudan modelin kendi denetimine bırakan Context Language Models (CLM) adlı yeni yaklaşımı yayımladı. Geliştirilen yöntemde bağlam penceresi düzenlenebilir bir dosya olarak ele alınıyor ve modele bu dosya üzerinde kısıtlama olmaksızın güncelleme yapma yetkisi veriliyor. Bu sayede model hangi bilgilerin saklanıp hangilerinin atılacağına kendisi karar verirken, birden çok etmenin yer aldığı sistemlerde etmenlerin bağlamları da bağımsız dosyalar halinde işletilebiliyor.

Mevcut modellerle sıfır atışlı (zero-shot) olarak kurgulanan CLM mimarisi, farklı test ortamlarında en gelişmiş bağlam yönetimi stratejilerini geride bıraktı. Yöntem, BrowseComp-Plus testinde yüzde 21,5 daha az işlem yüküyle (FLOP) yüzde 11,4 daha yüksek doğruluk sağladı. 12 saatlik EdgeBench testinde yüzde 59 daha az işlem gücüyle yüzde 5 daha yüksek skor elde edilirken, 24 saatlik çoklu depo etmen sürüsü görevinde aynı hesaplama gücüyle yüzde 65 daha fazla başarım kaydedildi.

Çalışma kapsamında ayrıca modellerin bağlam yönetimi becerilerini geliştiren çevrim içi pekiştirmeli öğrenme yöntemi ve Suffix Cache Reuse adlı sunucu önbellek mimarisi tanıtıldı. Yeni optimizasyon yöntemleri Qwen3.5-9B modelinin BrowseComp-Plus başarısını yüzde 12 daha az işlemle yüzde 47,6 artırırken, Suffix Cache Reuse tekniği standart SGLang altyapısına kıyasla sunucu tarafındaki işlem maliyetini yüzde 35 düşürdü.