Surge AI vergi uzmanlığını ölçen DAYJOB Tax testini duyurdu
Öne çıkanlar
- DAYJOB: Tax testi sekiz uzmanlık alanında 50 profesyonel görev ve 1.789 belge içeriyor.
- Lider konumdaki Claude Sonnet 5.5, yüzde 95 başarı eşiğinde yalnızca yüzde 10,8 başarı sağladı.
- Modeller tekil mevzuat sorularını çözse de gözden kaçan yasal süreleri ve varsayımları tespit edemedi.
Surge AI, yapay zeka ajanlarının profesyonel vergi danışmanlığı ve mevzuat uyumu yeteneklerini ölçmek amacıyla geliştirdiği DAYJOB: Tax adlı yeni değerlendirme aracını yayımladı. Sağlık ve finans alanındaki önceki çalışmaların ardından sunulan bu test, yapay zeka modellerinin karmaşık belgeler ve eksik talimatlar karşısındaki mesleki muhakeme gücünü sınıyor. Değerlendirme paketi sekiz farklı uzmanlık alanını kapsayan 50 ayrı çalışma ortamından oluşuyor.
Söz konusu test ortamlarında PDF belgeleri, elektronik tablolar, el yazısı fişler ve genel muhasebe kayıtlarını içeren toplam 1.789 çalışma dosyası yer alıyor. Modellerden yalnızca hesaplama yapması değil; çelişkili kanıtları çözmesi, eksik bilgileri tespit etmesi ve müşterinin açıkça sormadığı yasal riskleri öngörmesi bekleniyor. Yapılan ilk ölçümlerde Claude Sonnet 5.5 yüzde 10,8 başarı oranıyla lider olurken, Claude Fable 5.1 yüzde 9,6 ve Claude Opus 5.5 yüzde 9,2 oranında kaldı.
Sonuçlar, önde gelen yapay zeka modellerinin tekil hesaplamaları doğru yapsa bile uçtan uca vergi danışmanlığı süreçlerinde zorlandığını gösterdi. Vergi hukuku uzmanları tarafından hazırlanan senaryolar, modellerin doğrulanmamış varsayımlarla hareket edebildiğini ve yasal süre sınırlarını gözden kaçırabildiğini ortaya koydu. Uzmanlar, ajanların gerçek dünyadaki vergi süreçlerini bağımsız şekilde yürütmekten henüz uzak olduğunu bildirdi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.