Jakobiyen uzayı dil modellerinde yönlendirme vektörleri üretmek için kullanıldı

Bağımsız bir araştırmacı, büyük dil modellerinde ara katman aktivasyonlarını çözümlemek için kullanılan Jakobiyen merceğini (J lens) tersine çevirerek doğrudan kavram belirteçlerinden yönlendirme vektörleri elde etti. Qwen3-1.7B modeli üzerinde yerel donanımla yürütülen deneyler, Jakobiyen uzayının (J space) belirli davranışları denetlemede etkili bir alternatif sunduğunu gösterdi. Çalışmada elde edilen sonuçlar ve kaynak kodlar jlens_steer deposu üzerinden açık kaynak olarak paylaşıldı.

Araştırma kapsamında ilk olarak büyük harfle yazma davranışı incelendi. Büyük ve küçük harfli belirteç çiftlerinin Jakobiyen merceği üzerindeki satırları ters çevrilerek katman aktivasyon vektörleri hesaplandı. Bu vektör farklarının ortalaması alındığında, elde edilen yönlendirme vektörünün modeli tüm çıktıları büyük harfle üretmeye başarıyla yönlendirdiği görüldü. PCA projeksiyonu ve kosinüs benzerliği analizleri, bu yöntemin standart logit merceğine kıyasla ince ayar ile oluşturulan referans vektörlere çok daha yakın sonuçlar verdiğini doğruladı.

Reddetme gibi daha karmaşık davranışlarda ise kavram belirteçlerinden türetilen vektörlerin kırılgan kaldığı belirlendi. Rastgele seçilen reddetme belirteçlerinin Jakobiyen üzerinden ters çevrilip ortalamasının alınmasıyla oluşturulan vektörler, zararsız istemlerde doğrudan ret yanıtı üretmek yerine modelde sanrıları artırdı. Çalışma, yalnızca belirteçlere dayalı Jakobiyen tersine çevirme yaklaşımının basit biçimsel davranışlarda yüksek başarım sergilediğini, ancak soyut davranışsal yönlendirmelerde bilgi kaybı nedeniyle yetersiz kaldığını ortaya koydu.