Yapay zeka modellerinin ürettiği kodlardaki hantallık ölçüldü
Öne çıkanlar
- Yapay zeka modellerinin ürettiği kodlar insan koduna kıyasla ortalama iki kat daha fazla gereksiz ayrıntı ve aşınma içeriyor.
- Büyük dil modellerinin hakem olarak kullanıldığı kod kalitesi değerlendirmeleri çoğunlukla tutarsız sonuçlar veriyor.
- Çok turlu testlerde hatalı mimari kararlar biriktiği için gelişmiş modellerin katı başarı oranı sıfıra kadar iniyor.
Earendil araştırmacısı Sebastian, büyük dil modellerinin teknik olarak doğru ancak yapısal olarak kalitesiz ve hantal kod üretme sorununu ele alan bir analiz yayımladı. Araştırma, modellerin birim testleri geçmesine rağmen gereksiz soyutlamalar, kod tekrarları ve hatalı mimari kararlar vererek yazılım tabanlarını aşırı şişirdiğini ortaya koyuyor. Yapay zekanın kendi yazdığı kodu değerlendirdiği hakemlik yöntemlerinin tutarsız kaldığı, insan denetiminin ise hızla artan satır sayıları nedeniyle ölçeklenemediği belirtiliyor.
Araştırmada kod kalitesini ölçmek amacıyla SlopCodeBench çalışmasındaki ayrıntılılık ve aşınma metrikleri incelendi. İnsanlar tarafından geliştirilen köklü yazılım depolarıyla kıyaslandığında, yapay zeka aracılarının ürettiği kodların yaklaşık iki kat daha fazla gereksiz satır ve döngüsel karmaşıklık barındırdığı saptandı. Yapay zeka projelerinde bu metriklerin yükselmesi, yazılımın zamanla insanlar tarafından okunamaz ve yönetilemez hale gelmesine yol açıyor.
Çalışma, yapay zeka ajanlarının kendi oluşturdukları dağınıklığı temizlemekte de başarısız olduğunu gösteriyor. Gerçek geliştirme süreçlerini taklit eden çok aşamalı test senaryolarında, bağlam sıfırlamaları sonrasında biriken hatalı mimari kararlar nedeniyle en gelişmiş modeller bile zorlu görevlerin tüm aşamalarını geçemedi. Araştırma, kontrolsüz kod üretiminin yazılım projelerinde teknik borcu katlanarak artırdığına işaret ediyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.