Yapay zeka, yazılım geliştirme dünyasında devrim yaratıyor. Code Metal, savunma sanayii kodlarını yapay zeka ile yeniden yazmak için 125 milyon dolar toplarken, Google ve Microsoft yeni kodlarının %25-30'unun yapay zeka tarafından üretildiğini bildiriyor. AWS, Toyota için 40 milyon satır COBOL kodunu modernize etti. Microsoft CTO'su, 2030 yılına kadar tüm kodların %95'inin yapay zeka tarafından oluşturulacağını öngörüyor. Anthropic'in iki haftada 100.000 satırlık bir C compiler'ı 20.000 doların altında bir maliyetle inşa etmesi, yapay zekanın şaşırtıcı hızda büyük ölçekli yazılımlar üretebildiğini gösteriyor. Ancak bu kodun doğruluğu henüz resmi olarak doğrulanmıyor.
Andrej Karpathy gibi uzmanlar bile yapay zeka tarafından üretilen kodları "her zaman kabul et" eğiliminde, detaylı incelemeyi bırakıyor. Yapay zeka tarafından üretilen kodların neredeyse yarısı temel güvenlik testlerini geçemiyor ve yeni, daha büyük modeller öncekilerden önemli ölçüde daha güvenli kod üretmiyor. Heartbleed gibi tek bir insan hatası, milyonlarca kullanıcının özel iletişimini ifşa etmiş ve endüstriye yüz milyonlarca dolara mal olmuştu. Yapay zeka, bu tür hataları binlerce kat daha hızlı ve yazılım yığınının her katmanında üretebilirken, geleneksel inceleme yöntemleri yetersiz kalıyor. Harvard Business Review'un "workslop" olarak adlandırdığı, cilalı görünen ancak düzeltme gerektiren yapay zeka üretimi işler, kritik yazılımlarda felaketle sonuçlanabilir.
Tehdit sadece kazara oluşan hatalarla sınırlı değil. Yapay zeka yazılımı yazdığında, saldırı yüzeyi değişiyor: eğitim verilerini zehirleyebilen veya modelin API'sini tehlikeye atabilen bir düşman, yapay zekanın dokunduğu her sisteme ince güvenlik açıkları enjekte edebilir. Tedarik zinciri saldırıları zaten siber güvenlikteki en yıkıcı saldırılar arasında yer alıyor ve yapay zeka tarafından üretilen kod, daha önce var olmayan ölçekte yeni bir tedarik zinciri riski yaratıyor. Geleneksel kod incelemesi, kasıtlı olarak gizlenmiş güvenlik açıklarını güvenilir bir şekilde tespit edemez. Bu duruma karşı savunma, kodun doğruluğunu yapay zekadan bağımsız olarak tanımlayan resmi spesifikasyonlardır.
Yapay zeka tarafından üretilen kodların hızla artması, mevcut güvenlik ve doğrulama mekanizmalarındaki büyük boşlukları ortaya çıkararak siber güvenlik risklerini ve yazılım kalitesi sorunlarını büyütüyor.