AutoSaddler yapay zeka etmenlerinin denetim yapılarını otomatik optimize ediyor
Öne çıkanlar
- AutoSaddler, etmenlerin hata kayıtlarını inceleyerek harici denetim yapılarını otomatik olarak optimize ediyor.
- Sistem, SWE-Bench Pro testinde temel denetim yapılarına kıyasla 9,6 puanlık performans artışı kaydetti.
- Framework, denetim mantığını kod olarak ele alıp hedefe yönelik yamalar üretiyor ve doğrulamayla uyguluyor.
Araştırmacılar, büyük dil modellerine dayalı yapay zeka etmenlerinin uzun süreli görevlerdeki güvenilirliğini artırmak amacıyla AutoSaddler adlı yeni bir optimizasyon çerçevesi geliştirdi. Sistem, etmenlerin yürütme günlüklerindeki hata sinyallerini analiz ederek istem, araç yapılandırması ve kontrol mantığı gibi harici denetim bileşenlerini çevrimdışı öğrenme yöntemiyle otomatik olarak güncelliyor.
Yayımlanan makaleye göre AutoSaddler; hata izlerinin derinlemesine teşhisi, denetim yapısını kod olarak ele alan yapılandırılmış yama üretimi ve doğrulama tabanlı güncelleme seçimini bir arada kullanıyor. Yapılan testlerde sistem; GAIA2 testinde 9,0 puan, SWE-Bench Pro üzerinde 9,6 puan ve Terminal-Bench 2.0 üzerinde 10,0 puanlık performans artışı sağladı.
Araştırma ekibi, başarılı bir optimizasyon için yüzeysel çıkarımlar yerine derin hata ayıklamanın, serbest düzenleme yerine hedefe yönelik yamaların ve tekil görev onarımları yerine genelleştirilebilir seçimlerin kritik olduğunu açıkladı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.