Yapay zeka modelleri eski PHP kodlarını modernleştirirken bozuyor
Öne çıkanlar
- Modeller 32-51 çalışan dosyayı bozarken en fazla 10 dosyayı onarabildi.
- Dokunulmayan 83 dosya tüm testleri geçerken en iyi modelde bu sayı 59'a düştü.
- Kural tabanlı Rector aracı sadece 7 dosyayı bozarak yapay zekayı geride bıraktı.
Araştırmacılar, eski yazılımları güncellemek için büyük dil modelleri kullanmanın mevcut çalışan kodları bozma riskini inceleyen yeni bir çalışma yayımladı. Çalışma kapsamında beş farklı büyük dil modeli, 100 adet WordPress 4.0 PHP dosyasını davranışını koruyarak PHP 8.3 sürümüne yükseltmekle görevlendirildi. Modellerin ürettiği sonuçlar 630 gizli davranışsal test ve kural tabanlı modernizasyon aracı Rector ile değerlendirildi.
Elde edilen bulgular, yapay zeka modellerinin koda hiç dokunmamaya kıyasla daha olumsuz sonuçlar doğurduğunu gösterdi. Orijinal halinde hiçbir müdahale yapılmayan 83 dosya tüm testleri başarıyla geçerken, en iyi performans gösteren modelde bu sayı 59'a geriledi. İncelenen her model 32 ila 51 çalışan dosyayı bozarken en fazla 10 dosyayı onarabildi. Kural tabanlı Rector aracı ise yalnızca 7 dosyayı bozdu ve 6 dosyayı başarıyla onardı.
Araştırma, modellerin yol açtığı hasarın büyük kısmının gereksiz müdahalelerden kaynaklandığını ortaya koydu. İncelenen kodlardaki 511 bulgunun yalnızca yüzde 7'si PHP 8.3 altında zorunlu değişiklik gerektirdi; ancak modeller hiçbir değişiklik gerektirmeyen uyumlu dosyaların yüzde 36 ila 60'ını bozdu. Hataların çoğu, modellerin eklediği ve PHP'nin doğrudan reddettiği geçersiz tür bildirimleri nedeniyle dosyaların hiç yüklenememesinden kaynaklandı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.