Philip Su'nun yapay zeka kodlama ajanları çağında kod incelemelerinin pratikliğini yitirdiği yönündeki görüşüne katılan yazar, "ışıkları kapalı kod tabanları" (tamamen otomatik kod üretimi) konusundaki korkunun asıl nedenini sorguluyor. Bu korkunun, daha önce compiler'lar için başarıyla uyguladığımız ancak yapay zeka için henüz kurmadığımız bir "mekanizmanın" eksikliğinden kaynaklandığını öne sürüyor.
Makale, compiler çıktısını kimsenin manuel olarak incelemediğini vurguluyor. C++, Rust veya Go gibi dillerde yazılan kodlar bir binary'ye dönüştüğünde, kimse assembly kodunu okumaz veya object kodunu gözden geçirmez. Bunun nedeni compiler'lara körü körüne güvenmek değil; aksine, testler, tip sistemleri, tekrarlanabilir derlemeler (reproducible builds), fuzzing ve formal verification gibi araçlarla bir doğrulama süreci inşa etmiş olmamızdır. Biz, nihai yapıtın kendisine değil, bu sürece güveniriz.
Yapay zeka tarafından üretilen kodun hacmi, manuel incelemenin imkansızlığını gösterse de, asıl sorun bu hacim değil, bir semptomdur. Sorun, ajan çıktısını hala junior geliştirici çıktısı gibi, bir insan gözünün onayına muhtaç bir şey olarak görmemizdir. Compiler benzetmesi, yapıtları okunacak değil, doğrulanacak şeyler olarak ele aldığımızda olgun bir pipeline'ın nasıl olması gerektiğini gösterir. Kalite kontrolünü yukarı akışa (tip sistemleri, linter'lar, spesifikasyonlar) ve aşağı akışa (test etme, izleme, geri alma) taşıyarak manuel inceleme ihtiyacını ortadan kaldırdık. Yapay zeka ajanları için de benzer bir adımı atmamız gerekiyor. Mühendislerin "ışıkları kapalı" yaklaşımdan endişe duyması, bu gerekli yukarı ve aşağı akış doğrulama mekanizmalarının henüz yeterince gelişmemiş olmasından kaynaklanmaktadır.
Yapay zeka tarafından üretilen kodun güvenilirliğini sağlamak için manuel incelemeler yerine otomatik doğrulama mekanizmaları geliştirmemiz gerektiğini vurguluyor.