Yapay zeka destekli kodlama ajanları giderek daha yetenekli hale gelse de, hangi ajanı kullanacağımız sorusu karmaşıktır. Bir ajanın performansı dil, görev türü ve zamana göre önemli ölçüde değişir. Tek bir ajana bağlı kalmak, onun her görevde en iyi olacağını tahmin etmek anlamına gelir ki bu tahmin çoğu zaman yanlış çıkabilir. Makale, bu tahmin sorununu "seçim" yaklaşımıyla aşmayı öneriyor: birden fazla aday uygulama oluşturmak ve en iyi çözümü bu havuzdan seçmek, böylece tahmin sorununu bir optimizasyon problemine dönüştürmek.
Bu yaklaşım, "best-of-N" olarak bilinir ve birden fazla ajanın paralel olarak çalıştırılmasını, ardından en iyi çıktının seçilmesini içerir. Yazarlar, bu iş akışını birkaç aydır uyguladıklarını belirtiyorlar: görev için bir spesifikasyon yazılıyor ve bu birden fazla ajana paralel olarak dağıtılıyor. Her ajan kendi izole çalışma ortamında çalışıyor ve repo'nun değerlendirmelerini (evals) çalıştırıyor. Ardından bir insan gözden geçiren, farkları inceliyor, en iyi uygulamayı seçiyor ve bu yamayı uyguluyor. Bu süreç, günlük işleri faydalı bir değerlendirme sinyaline dönüştürüyor: gerçek bir kod tabanındaki gerçek bir görevde hangi ajan, birleştirilen kodu üretti?
Yapılan analizler, ajan sıralamalarının oldukça gürültülü olduğunu ve en iyi ajanlar arasındaki güven aralıklarının büyük ölçüde örtüştüğünü gösteriyor. Bu, en iyi iki ajanın bile güvenle birbirinden ayrılamayacağı anlamına geliyor. Ancak, tek bir ajan yerine bir grup ajanı (kohort) kullanmanın sağladığı "seçim avantajı" oldukça büyüktür. En iyi ajanlardan oluşan bir kohort çalıştırmak, tek bir ajana göre kazanma oranını önemli ölçüde artırarak, bir görevin başarılı bir şekilde tamamlanma olasılığını yükseltir. Bu da, yazılım geliştirme süreçlerinde yapay zeka ajanlarından en yüksek verimi almanın yolunun tahmin yerine akıllı seçimden geçtiğini ortaya koyuyor.
Yapay zeka destekli kodlama süreçlerinde en verimli sonuçları elde etmek için tek bir ajana güvenmek yerine, birden fazla ajandan gelen çıktıları değerlendirip en iyisini seçmek kritik bir yaklaşımdır.