Yapay zeka modellerinde ret davranışı model ağırlıkları değiştirilmeden bastırıldı

Açık ağırlıklı büyük dil modellerinde güvenlik ve yönetim amaçlı ret yanıtlarını kontrol etmek için model ağırlıklarını kalıcı olarak değiştirmeyen dinamik bir yöntem geliştirildi. Geleneksel ağırlık silme (abliteration) teknikleri model parametrelerini kalıcı olarak dönüştürürken ve genel görev performansını düşürürken, yeni yaklaşım PyTorch kancaları kullanarak ara katmanlardaki akışa çalışma zamanında müdahale ediyor. Qwen3-4B modeli üzerinde yapılan kavram kanıtlama çalışmasında, model ağırlıkları tamamen dondurularak ret mekanizması devre dışı bırakıldı.

Araştırmada ilk olarak tek bir katmandan ret vektörünün çıkarılması denendi ancak sonraki katmanların ret davranışını yeniden inşa ettiği gözlemlendi. Bu durumu aşmak için 12 ile 20 arasındaki katmanlara aynı anda müdahale eden çok katmanlı bir yönlendirme denetleyicisi kuruldu. Statik yönlendirme vektörlerinin tüm jetonlara uygulanması sonucunda ortaya çıkan anlamsal bozulmaları engellemek amacıyla DeepSeek tarafından geliştirilen Engram koşullu bellek mimarisi sisteme uyarlandı.

Engram yaklaşımı, kayan jeton pencerelerini karma tablolarda işleyerek tetikleyicileri sabit zamanda tespit ediyor ve sadece hassas bağlamlarda yönlendirme uyguluyor. Modelin genel yeteneklerini koruyan bu dinamik kapılama mekanizması sayesinde, normal metin üretiminde temel model akışına dokunulmuyor. PKU-SafeRLHF veri kümesinden derlenen 2 bin örnekle eğitilen yönlendirme başlığı, temel modelin parametrelerini değiştirmeden ret mekanizmasını modüler şekilde denetlemeyi başardı.