Qwen modelinde tek bir nöronu değiştirmek alternatif kimlikleri tetikliyor
Öne çıkanlar
- Modeldeki 442 bin 368 nöron tek tek yukarı ve aşağı yönlü manipüle edildi.
- Toplam 884 bin 736 yanıtın 34 bin 220 tanesinde model yapay zeka dışı kimlikler benimsedi.
- Araştırmacılar katman bazlı sonuçları ve yanıtları etkileşimli bir harita olarak sundu.
Araştırmacılar, açık kaynaklı dil modeli Qwen üzerinde yürüttükleri mekanik yorumlanabilirlik çalışmasında tekil nöronların model kimliği üzerindeki etkilerini haritalandırdı. Yapay zeka modelinin mimarisinde yer alan 442 bin 368 çok katmanlı algılayıcı nöronu tek tek yukarı ve aşağı yönlü manipüle eden ekip, her müdahalenin ardından modele kim olduğunu sordu. Toplam 884 bin 736 yanıttan 34 bin 220 tanesinde model, kendisinin bir yapay zeka olmadığını belirterek farklı bir kişiliğe büründü.
Elde edilen sonuçlar, modelin nöron katmanlarını ve bu katmanlardaki kimlik değişimlerini gösteren etkileşimli bir atlas olarak yayımlandı. İncelemeye göre her katmandaki belirli nöronlar, modelin yanıtlarında doğrudan persona değişimlerine yol açıyor. Araştırmacılar, 34 binden fazla persona yanıtının yanı sıra 35 bin 74 konu dışı yanıt ve asistan kimliğinin bozulduğu 8 bin 827 sıra dışı yanıt tespit etti.
Paylaşılan etkileşimli kütüphane sayesinde kullanıcılar nöronları katman ve numara bazında filtreleyerek tam yanıtları inceleyebiliyor. Çalışma, büyük dil modellerinde kimlik algısının ve güvenlik hizalamasının karmaşık parametre ağları yerine bazen tek bir nörondaki etkinleşme eşiğine bağlı olabildiğini somut verilerle ortaya koyuyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.