Geniş bağlam pencereleri yapay zeka modellerinde yeni hata türleri yaratıyor
Öne çıkanlar
- Modeller 100 bin belirteç sınırını aştığında yeni çözümler üretmek yerine eski adımları tekrarlıyor.
- Anthropic ve UC Berkeley araştırmaları, bağlam geçmişini periyodik silmenin performansı artırdığını gösterdi.
- Kodlama ajanlarında 200 bin belirteç seviyesinden sonra bağlam sıfırlaması öneriliyor.
Yapay zeka modellerinde bağlam pencerelerinin milyonlarca belirtece ulaşması, beklenen verimlilik artışının aksine yeni sistemik hataları beraberinde getirdi. AGNTCon konferansında sunulan analiz, bağlam zehirlenmesi, dikkat dağılması, kafa karışıklığı ve araç çatışması gibi temel aksaklıkları ortaya koydu. Modellerin geçmişteki hatalı örneklerden etkilenerek doğrudan verilen talimatların dışına çıktığı ve gereksiz veriler nedeniyle temel bilgilerinden saptığı kaydedildi.
Araştırmalar, bağlam boyutu 100 bin belirteci aştığında ajanların yeni planlar üretmek yerine geçmiş adımları tekrarlamaya başladığını gösteriyor. Mühendisler bu sorunları aşmak için bağlam budama, özetleme ve alt ajanlar kullanarak geçmişi sıfırlama gibi deterministik yöntemleri entegre ediyor. Uzun süre çalışan otonom ajanlarda ise modellerin tek bir alt hedefe saplanıp kalması anlamına gelen bağlam ataleti riski öne çıkıyor.
Anthropic ve UC Berkeley gibi kurumlardan gelen güncel çalışmalar, ortamdaki çıktıları korurken modelin konuşma geçmişini düzenli aralıklarla sıfırlamanın performansı artırdığını doğruluyor. Uzmanlar, modellerin kendi bağlamını yönettiği ajan sistemlerinde hafıza birikiminin zamanla performans kaybına yol açtığını belirterek periyodik bellek temizliğinin önemine dikkat çekiyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.