1Password'ın yapay zeka güvenlik raporu metodoloji eksiklikleri nedeniyle eleştirildi

1Password bünyesindeki Off-by-1 Labs tarafından yayımlanan FLAWED başlıklı yapay zeka yama testi raporu, güvenlik araştırmacıları tarafından metodoloji hataları ve eksik literatür taraması gerekçeleriyle eleştiri topladı. Çalışma, büyük dil modellerinin güvenlik açıklarını yamama performansını değerlendirirken akademik hakem denetiminden geçmediği halde bilimsel bir makale formatında sunulması nedeniyle sorgulandı. Trail of Bits ve bağımsız araştırmacılar, raporda yer alan verilerin ve değerlendirme kriterlerinin yanıltıcı olduğunu öne sürdü.

Araştırmacılar, raporda yalnızca 19 kaynağa atıf yapıldığını ve Meta'nın AutoPatchBench çalışması gibi doğrudan ilgili temel akademik literatürün görmezden gelindiğini belirtti. Metin içindeki aritmetik tutarsızlıklar, hatalı şemalar ve hakem denetimi kavramının yalnızca şirket içi birkaç meslektaş incelemesi için kullanılması başlıca kusurlar arasında gösterildi. Eleştiriler, çalışmanın kamuya açık bir arşivde arşivlenmeden ve gelen itirazlara kapsamlı düzeltmeler yapılmadan basın bültenleriyle yayılmasının kurumsal araştırma etiğine aykırı olduğuna odaklandı.

Sektör temsilcileri, kurumsal etki ve dağıtım gücünün bilimsel geçerlilik yerine geçmemesi gerektiğini ifade etti. Zayıf metodolojiye sahip çalışmaların kurumsal bütçelerle öne çıkarılmasının, akademik araştırmacıların kısıtlı kaynaklarla ürettiği nitelikli içerikleri gölgede bıraktığı ve açık kaynak yazılım güvenliği için ayrılan kaynakların yanlış yönlendirilmesine yol açtığı kaydedildi. Güvenlik camiası, bağımsız denetimlerin devam etmesini ve hatalı yayımlar için resmi düzeltme veya geri çekme adımlarının atılmasını talep etti.