Pekiştirmeli öğrenmedeki akıl yürütme artışının düşünce sızıntısından kaynaklandığı belirlendi

Araştırmacılar, karma akıl yürütme modellerinde pekiştirmeli öğrenmeyle elde edilen performans kazanımlarının yeni yeteneklerden değil, var olan düşünme modunun yeniden etkinleşmesinden kaynaklandığını tespit etti. Qwen3 serisi gibi karma modeller, sohbet şablonu belirteçleriyle düşünme ve düşünmeme modları arasında geçiş yapabiliyor. Yaygın bir eğitim yaklaşımı bu modelleri düşünmeme kipinde pekiştirmeli öğrenmeyle eğiterek gelişmiş muhakeme başarısı bildiriyor. Ancak yeni çalışma, bu artışın önemli bir bölümünün düşünce sızıntısı olgusuyla açıklanabildiğini ortaya koydu.

Çalışma kapsamında Qwen3 ailesinin 1,7 milyar, 4 milyar ve 8 milyar parametreli sürümleri düşünmeme modunda GRPO algoritmasıyla eğitildi. Doğruluk oranı arttıkça model yanıtlarının uzadığı, daha derinlikli hale geldiği ve dahili aktivasyonların açık düşünme moduna kaydığı gözlemlendi. Ağırlıklar, aktivasyonlar ve dikkat mekanizmaları üzerinde yapılan incelemeler, pekiştirmeli öğrenme güncellemesi büyütüldüğünde modelin düşünme modundaki başarı sınırına yaklaştığını ancak bu sınırı aşamadığını gösterdi.

Araştırma ekibi, 8 milyar parametreli modelde düşünme süreciyle ilişkili düşük boyutlu aktivasyon alt uzayını orijinal model değerleriyle değiştirdiğinde pekiştirmeli öğrenme kazanımlarının büyük kısmının kaybolduğunu saptadı. Tersine işlem yapıldığında ise bu kazanımlar doğrudan orijinal modele aktarılabildi. Bulgular, GRPO eğitim sinyalinin düşünme benzeri yanıtları kayırdığını ve düşünmeme modunda görülen ilerlemenin temelde modelde zaten var olan mekanizmaları yeniden tetiklediğini kanıtladı.