Do not guess talimatı uydurma alanları azalttı
Öne çıkanlar
- 16 model, talimat olmadan eksik alanların yüzde 70,7’sini uydurdu.
- Talimat verildiğinde modellerin uydurma oranı yüzde 20,2’ye düştü.
- Gemini 3.8 Flash, talimatlı testte 36 alanın 1’ini yanlış doldurdu.
- GPT-6 Luna, 49 uydurma değerin 38’ini yakaladı ve 47 doğru değeri reddetmedi.
Earn an Honest Dollar’ın 27 Eylül 2026’da yayımladığı test, web sayfalarından veri çıkaran yapay zeka modellerinin eksik alanları uydurma oranının “Do not guess” talimatıyla yüzde 70,7’den yüzde 20,2’ye düştüğünü gösterdi. Testte modellerden, sayfada bulunmayan alanlar için null döndürmeleri istendi. Araştırmacılar, aynı sayfaya bir satır eklenmiş ve çıkarılmış 42 çift üzerinden 7 sayfa türünü değerlendirdi.
16 model, talimat olmadan eksik 573 alanın 405’i için uydurma değer üretti. Talimat verildiğinde ise 574 eksik alanın 116’sı uyduruldu. Gemini 3.8 Flash, talimatlı testte 36 eksik alanın yalnızca 1’ini yanlış doldurarak en düşük orana ulaştı. “Was $493.00” ifadesinin eski fiyat olduğu örnekte, 16 modelin tamamı talimat olmadan 493 dolarını fiyat olarak aldı; talimatla bu sayı 1’e indi.
Ücretli API’ler arasında Firecrawl, 36 eksik alanın 24’ünü uydurarak talimatlı 16 modelin çoğundan daha kötü sonuç verdi. Araştırmacılar, dönen değerleri ucuz bir modelle ayrıca denetlemeyi de test etti. GPT-6 Luna, 49 uydurma değerin 38’ini yakalarken doğru 47 değerin hiçbirini reddetmedi. Ancak çalışma tek çalıştırmaya, sentetik sayfalara ve sınırlı sayfa türlerine dayanıyor; gerçek sitelerde sonuçlar değişebilir.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.