SemiAnalysis öncü yapay zeka modelleri için GDPx testini tanıttı
Öne çıkanlar
- GDPx testinde mevcut en gelişmiş öncü yapay zeka modeli bile yalnızca yüzde 12 başarı oranına ulaştı.
- Test, 14 uzman veri ortağıyla birlikte oluşturulan 11 yüksek katma değerli sektör senaryosunu kapsıyor.
- Modeller finans ve hukuk gibi karmaşık ve gerçekçi veri odası içeren görevlerin tamamında sıfır çekti.
Araştırma ve analiz şirketi SemiAnalysis, öncü yapay zeka modellerinin pratik yeteneklerini ölçmeyi amaçlayan yeni performans testi GDPx'i duyurdu. Çip tasarımı, siber güvenlik, finans, hukuk ve yazılım mühendisliği gibi yüksek getiri potansiyeline sahip 11 kritik alana odaklanan test, geleneksel GDP payı yerine yapay zekanın en hızlı değer yaratacağı sektörleri hedefliyor. Test sonuçlarına göre mevcut en iyi modeller dahi görevlerin yalnızca yüzde 12'sini başarıyla tamamlayabildi.
Sistem, modellerin tek bir istemle sonuca varması yerine simüle edilmiş zengin kurumsal ortamlarla etkileşime girmesini şart koşuyor. Finans görevlerinde binlerce dosyalık veri odalarında gezinme, donanım tasarımında canlı simülasyon araçlarını kullanma gibi pratik adımlar aranıyor. OpenAI'ın GDPval testinin etkileşimden ve zengin çalışma ortamlarından yoksun olduğunu belirten ekip, 14 uzman girişimle iş birliği yaparak gerçekçi senaryolar kurguladı.
Modellerin güvenlik filtreleri siber güvenlik, biyoloji ve hizalama alanlarındaki genel puanlarını sınırlandırdı. Opus 5.5 genel sıralamada, kantitatif ticaret ve donanım tasarımında öne çıkarken, Gemini 4 Carbon biyoloji ve yazılımda, GPT-6 Astra ise öz yinelemeli kendi kendini geliştirme (RSI) alanında en yüksek performansı gösterdi. Finans ve hukuk alanındaki karmaşık görevlerde ise modellerin neredeyse tamamı sıfır puan aldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.