Araştırmacılar yapay zeka ajanlarının neden aşırı öğrenme yaşamadığını açıkladı

Amazon Science bünyesindeki araştırmacılar, makine öğrenimi alanında yıllardır merak edilen aşırı öğrenme paradoksuna büyük dil modeli tabanlı otonom araştırma ajanlarını inceleyerek yanıt getirdi. Doğrulama veri setlerinin sürekli kullanımı klasik istatistik teorisine göre aşırı öğrenmeye yol açması gerekirken, otonom araştırma ajanlarının genel performanstan ödün vermediği gözlemlendi. Çalışma, başarılı makine öğrenimi stratejilerinin bilgi darboğazlarından geçebilecek kadar yüksek düzeyde sıkıştırılabilir olduğunu kanıtladı.

Araştırma ekibi, süreci test etmek amacıyla keşif, sıkıştırma ve yeniden üretim aşamalarından oluşan üçlü bir ajan sistemi kurdu. Keşif ajanı doğrulama setini kullanarak optimizasyon yaparken, sıkıştırma ajanı bu stratejiyi yalnızca birkaç belirteçlik komutlara indirgedi. Görsel sınıflandırma, dil modelleme ve difüzyon dahil sekiz veri setinde yapılan testlerde, Claude tabanlı yeniden üretici ajanların 32 belirteçlik komutlarla orijinal performansı tam olarak yakaladığı belirlendi. Bir dil modelleme stratejisi 16 belirtece kadar indirildiğinde dahi genel başarısını korudu.

Bilgi darboğazı yaklaşımı, aynı zamanda modellerdeki ezberleme ve hatalı genellemeleri tespit eden bir denetim aracına dönüştü. Araştırmacılar ajanları kasten aşırı öğrenmeye zorladığında ortaya çıkan stratejiler bu dar bilgi kanalından geçemedi ve doğrulama avantajları kayboldu. Çalışma ekibi, elde edilen sonuçların yalnızca yapay zeka ajanları için değil, yıllardır aynı kıyaslama setleri üzerinde çalışan insan araştırmacı topluluklarının genelleme başarısı için de açıklayıcı bir model sunduğunu bildirdi.