ETH Zürih'ten yapılan yeni bir araştırma, sektördeki yaygın tavsiyelerin aksine, AGENTS.md dosyalarının yapay zeka kodlama ajanlarının performansını olumsuz etkileyebileceğini ortaya koydu. Araştırmacılar, 60.000'den fazla açık kaynak deposunda bağlam dosyaları bulunmasına ve birçok ajan framework'ünün bunları otomatik olarak oluşturma özelliğine sahip olmasına rağmen, bu dosyaların yapay zeka ajanlarının gerçek dünya kodlama görevlerini çözme yeteneğini gerçekten iyileştirip iyileştirmediğine dair kapsamlı bir ampirik çalışma olmadığını belirtti. Bu boşluğu doldurmak amacıyla, popüler kıyaslama testlerinin (benchmark) olası ezberleme yanlılığını önlemek için niş depolardan alınan 138 gerçek dünya Python görevinden oluşan AGENTbench adlı yeni bir veri kümesi oluşturdular.
Ekip, Claude 3.5 Sonnet, Codex GPT-5.2 ve GPT-5.1 mini ile Qwen Code olmak üzere dört yapay zeka ajanını üç farklı senaryoda test etti: bağlam dosyası olmadan, LLM tarafından oluşturulan bir dosya ile ve insanlar tarafından yazılan bir dosya ile. Sonuçlar şaşırtıcıydı: LLM tarafından oluşturulan bağlam dosyaları, görev başarı oranını ortalama %3 azaltarak performansı düşürdü ve ajanların adım sayısını artırarak çıkarım maliyetlerini %20'den fazla yükseltti. İnsanlar tarafından yazılan dosyalar ise AGENTbench üzerinde görev başarı oranında ortalama %4'lük marjinal bir artış sağlasa da, bu da adım sayısını ve dolayısıyla maliyetleri %19'a kadar artırdı.
Araştırmacılar, performansın neden düştüğünü ve maliyetlerin neden arttığını anlamak için ajanların araç çağrılarını ve akıl yürütme kalıplarını derinlemesine analiz ettiler. AGENTS.md dosyalarındaki talimatları takip eden ajanlar, gereksiz yere daha fazla test çalıştırdı, daha fazla dosya okudu, daha fazla grep araması yaptı ve daha fazla kod kalitesi kontrolü gerçekleştirdi. Bu durum, ek bağlamın akıl yürütme modellerini daha fazla "düşünmeye" zorladığını, ancak daha iyi nihai yamalar üretmediğini gösterdi. Bu bulgular ışığında, araştırmacılar LLM tarafından oluşturulan bağlam dosyalarının tamamen çıkarılmasını ve insanlar tarafından yazılan talimatların yalnızca çok özel araçlar veya özel derleme komutları gibi çıkarılamayan ayrıntılarla sınırlandırılmasını tavsiye ediyor.
Yapay zeka kodlama ajanları için bağlam dosyalarının kullanımına dair yaygın inançları sorgulayan bu araştırma, verimlilik ve maliyet açısından önemli çıkarımlar sunuyor.