Yazılım geliştiren yapay zeka ajanları semantik araçlar yerine grep tercih ediyor

Yapay zeka modellerinin kod arama ve düzenleme görevlerindeki araç tercihleri üzerine yapılan bir araştırma, dil modellerinin LSP destekli anlamsal gezinme yerine sıklıkla klasik grep aracını seçtiğini gösterdi. Claude modelleriyle Python ve TypeScript depolarında yürütülen testlerde, modeller basit kod konumu bulma görevlerinde LSP tabanlı araçları yalnızca yüzde 0 ile 6 arasında tercih etti. Deneyde ajanlar semantik gezinmeye zorlandığında ise görev başarı oranı yüzde 100 seviyesinden yüzde 89 düzeyine geriledi.

Araştırma sonuçları, semantik araçların sağladığı yüksek kesinliğin her zaman model verimliliğine dönüşmediğini ortaya koydu. LSP araçları yalnızca dosya, satır ve sütun bilgisi döndürdüğünde ajanlar kod bağlamını görmek için ek dosya okuma işlemleri yapmak zorunda kaldı. Buna karşın grep aracının doğrudan eşleşen satır içeriğini sunması işlem adımlarını kısalttı. Semantik aracın çıktısına kaynak kod satırları eklendiğinde ise yeniden adlandırma görevlerindeki Pass@1 başarı oranı 0,67 seviyesinden 0,83 düzeyine yükseldi ve ek dosya okumaları 15,2 değerinden 3,2 seviyesine düştü.

Çalışma, bir aracın başarısının salt arkasındaki teknolojinin hassasiyetine değil, çıktı biçiminin dil modelleri için doğrudan kullanılabilir olmasına bağlı olduğunu gösterdi. Modellerin eğitim süreçlerinde alışık oldukları araç çağırma kalıplarının ve çalışma ortamı arayüzlerinin genel performansta belirleyici olduğu kaydedildi. Araştırmacılar, karmaşık araçlar eklemek yerine modellerin çalışma döngüsüyle uyumlu basit ve bağlam içeren arayüzlerin tasarlanmasını önerdi.