OpenAI'ın, yeni nesil yapay zeka modellerinin performansını değerlendirmek amacıyla üçüncü taraf yüklenicilerden mevcut veya önceki işlerinden gerçek görev ve ödevleri yüklemelerini istediği ortaya çıktı. WIRED tarafından ele geçirilen OpenAI ve eğitim verisi şirketi Handshake AI'dan alınan kayıtlara göre, bu proje yapay zeka modellerinin insan profesyonellerle karşılaştırılabilmesi için bir "insan tabanı" oluşturma çabalarının bir parçası. Şirket, Eylül ayında farklı sektörlerdeki insan profesyonellerine karşı yapay zeka modellerinin performansını ölçmek için yeni bir değerlendirme süreci başlatmıştı. OpenAI, bunu, çoğu ekonomik olarak değerli görevde insanlardan daha iyi performans gösteren bir yapay zeka sistemi olan AGI'ye (Genel Yapay Zeka) ulaşma yolundaki ilerlemesinin önemli bir göstergesi olarak görüyor.
OpenAI, yüklenicilerden mevcut veya geçmiş işlerinde yaptıkları uzun süreli veya karmaşık görevleri (saatler veya günler süren) tanımlamalarını ve bu görevlerin gerçek çıktılarını (Word doc, PDF, PowerPoint, Excel, görsel gibi gerçek dosyalar) yüklemelerini talep ediyor. Şirket, yüklenicilerin kurumsal fikri mülkiyeti ve kişisel olarak tanımlanabilir bilgileri yükledikleri dosyalardan silmeleri veya anonimleştirmeleri gerektiğini özellikle vurguluyor. Paylaşılan bir örnekte, lüks bir konsiyerj şirketinde çalışan bir "Kıdemli Yaşam Tarzı Yöneticisi"nin, ultra zengin müşteriler için Bahamalar'a 7 günlük bir yat gezisi taslağı hazırlaması isteniyor ve yüklenicinin bu göreve karşılık gelen gerçek bir Bahama seyahat planı sunması bekleniyor. Bu yaklaşım, yapay zeka modellerinin gerçek dünya senaryolarında ne kadar başarılı olduğunu anlamak için kritik bir adım olarak öne çıkıyor.
OpenAI'ın gerçek dünya iş verileriyle modellerini eğitmesi, yapay zekanın karmaşık profesyonel görevlerde insan performansına ne kadar yaklaştığını veya aştığını anlamak için kritik bir yöntem sunuyor.