METR'in önceki araştırması, 2025'in başlarında yapay zeka (AI) araçlarının deneyimli açık kaynak geliştiricilerin görev tamamlama sürelerini %20 oranında yavaşlattığını ortaya koymuştu. Bu bulgunun ardından, yapay zekanın geliştirici verimliliği üzerindeki uzun vadeli etkisini anlamak amacıyla 2025 Ağustos'unda daha geniş bir geliştirici havuzu ve en yeni AI araçlarıyla yeni bir deney başlatıldı. Ancak, katılımcı geri bildirimleri ve anketler sonucunda, bu yeni deneyden elde edilen verilerin AI araçlarının mevcut verimlilik etkisi hakkında güvenilir bir sinyal vermediği anlaşıldı.
Deneyin güvenilirliğini etkileyen temel sorunlar arasında, AI kullanmadan çalışmak istemeyen geliştiricilerin çalışmaya katılmayı reddetmesi yer alıyor; bu durum, AI destekli hızlanma tahminlerini aşağı yönlü çarpıtabilir. Ayrıca, saatlik ücretin 150 dolardan 50 dolara düşürülmesi nedeniyle oluşan seçilim etkileri ve birden fazla AI aracını eş zamanlı kullanan geliştiriciler için görev tamamlama sürelerinin güvenilir ölçülememesi de sorun teşkil ediyor. METR, 2026 başı itibarıyla geliştiricilerin AI araçlarından 2025 başındaki tahminlerden daha fazla hızlandığına inanıyor, ancak mevcut veriler bu artışın büyüklüğü hakkında zayıf kanıtlar sunuyor.
Ham sonuçlar bir miktar hızlanma gösterse de (önceki %19'luk yavaşlamaya karşın, yeni çalışmada orijinal geliştiricilerin bir alt kümesinde %18'lik hızlanma ve yeni geliştiricilerde %4'lük hızlanma), bu seçilim etkileri nedeniyle gerçek hızlanmanın deney dışında kalan geliştiriciler ve görevler arasında çok daha yüksek olabileceği düşünülüyor. Bu ciddi seçilim etkileri nedeniyle METR, çalışma tasarımında değişiklikler yapmaya karar verdi ve AI'ın geliştirici verimliliği üzerindeki etkisini incelemek için farklı yöntemler geliştirmeyi planlıyor. AI'ın yaygınlaşması, görev bazında verimliliği ölçmeyi daha da zorlaştırıyor.
Yapay zeka araçlarının geliştirici verimliliği üzerindeki gerçek etkisini ölçmek, katılımcıların yapay zeka kullanımına yönelik tercihleri ve çalışma koşulları nedeniyle giderek zorlaşıyor.