Cursor ekibi, kodlama ajanlarının artan yetenekleriyle birlikte kod inceleme sürecinin daha fazla zaman aldığını fark etti. Bu sorunu çözmek amacıyla, üretim ortamına ulaşmadan önce çekme isteklerindeki mantık hatalarını, performans sorunlarını ve güvenlik açıklarını analiz eden bir kod inceleme ajanı olan Bugbot'u geliştirdiler. Geçtiğimiz yaz kullanıcılara sunulan Bugbot, başlangıçta nitel değerlendirmelerle başlayan bir süreçle inşa edildi ve zamanla kaliteyi artırmak için özel bir yapay zeka destekli metrik kullanan daha sistematik bir yaklaşıma dönüştü.
Lansmandan bu yana yürütülen 40 büyük deney sayesinde Bugbot'un hata çözme oranı %52'den %70'in üzerine çıktı. Aynı zamanda, her çalıştırmada işaretlenen ortalama hata sayısı 0,4'ten 0,7'ye yükseldi. Bu iyileşmelerle birlikte, her çekme isteği başına çözülen hata sayısı yaklaşık 0,2'den 0,5'e çıkarak iki kattan fazla artış gösterdi. Geliştirme sürecinin başlarında modellerin yeterince yetenekli olmaması zorluk yaratsa da, temel modellerin gelişmesiyle birlikte hata raporlama kalitesini artırmanın birçok yolu keşfedildi.
Bugbot'un en etkili kalite iyileştirmelerinden biri, birden fazla hata bulma geçişini paralel olarak çalıştırmak ve sonuçlarını çoğunluk oylamasıyla birleştirmek oldu. Her geçişe farklı bir diff sıralaması verilerek modelin farklı muhakeme yollarına yönelmesi sağlandı. Aynı sorunun birden fazla geçişte bağımsız olarak işaretlenmesi, hatanın gerçek olduğuna dair daha güçlü bir sinyal olarak kabul edildi. Üretim ortamında kullanılabilir hale getirmek için Rust ile yeniden yazılan Git entegrasyonu, hız ve güvenilirlik sağlayan veri çekme optimizasyonları, oran sınırlama izleme ve Bugbot kuralları gibi temel sistemlere de yatırım yapıldı. Bu kurallar, kod tabanına özgü değişmezleri (invariant) destekleyerek sistemin esnekliğini artırdı.
Yapay zeka destekli kod inceleme aracı Bugbot, geliştirme süreçlerinde hataları erken aşamada tespit ederek yazılım kalitesini ve geliştirici verimliliğini önemli ölçüde artırıyor.