Pekiştirmeli öğrenmede Never Give Up yöntemi zor görevlerdeki verimi artırıyor

Büyük dil modellerinin pekiştirmeli öğrenme (RL) süreçlerinde karşılaşılan performans dengesizliğini inceleyen yeni bir çalışma yayımlandı. Araştırma, standart değerlendirme grafiklerindeki genel artışın yanıltıcı olduğunu ve kazanımların büyük ölçüde zaten çözülebilen kolay sorulardan kaynaklandığını ortaya koydu. Modellerin başlangıçta zorlandığı görevlerde neredeyse hiç ilerleme kaydedemediği bu durum, sosyolojideki "zengin daha da zenginleşir" ilkesine atıfla "Matta Etkisi" olarak adlandırıldı.

Araştırmacılar, sorunun temel nedeninin zor problemlerden ziyade kolay problemlere gereğinden fazla hesaplama gücü harcanması olduğunu tespit etti. Standart GRPO algoritmasında örnekleme sayısı artırıldığında, kolay sorularda ortaya çıkan nadir hatalı yanıtlar tüm eğitim grubunu meşgul ediyor ve zor sorulara kaynak kalmıyor. Bu dengesizliği gidermek amacıyla "Never Give Up" (NGU) adlı uyarlanabilir bir örnekleme yöntemi geliştirildi. Yöntem, kolay soruları hızla filtreleyerek hesaplama bütçesini doğrudan zor sorulara yönlendiriyor.

Matematik ve kodlama kıyaslamalarında test edilen NGU, başlangıçta küçük bir örneklemle başlıyor ve çözüm üretilemediği durumlarda belirli bir olasılıkla soru için ek örneklem toplamaya devam ediyor. Qwen modelleri ve AIME ile Manufactoria gibi zorlu veri setleri üzerinde yürütülen deneylerde sistem, standart GRPO yönteminin tıkandığı karmaşık testlerde belirgin bir başarı sağladı. Çalışma ayrıca dil modellerinde derin pekiştirmeli öğrenmenin aksine sinir ağı esnekliği kaybı sorunu yaşanmadığını da gösterdi.