Yapay zeka için bir posttraining veri ortaklığı bulunmuyor

Büyük dil modellerinin ön eğitiminde kullanılan geniş metin arşivlerinin aksine, pekiştirmeli öğrenme aşaması için hazır ve ortaklaşa erişilebilir bir veri kaynağı bulunmuyor. Wikipedia, Common Crawl, arXiv, Stack Exchange, Project Gutenberg ve açık kaynak yazılımlar, belgeleri düzenli ve tekrar kullanılabilir biçimde biriktirdi. Common Crawl bugün yaklaşık 10 petabayt veri arşivliyor; GPT-3 verisinin yaklaşık yüzde 60’ı Common Crawl kaynaklıydı. Ancak posttraining belgeleri değil, amaç, araç, ortam ve değerlendirici içeren görevleri gerektiriyor.

Yazı, yazılım depolarının bu görevleri üretmek için en uygun başlangıç noktası olduğunu ancak sürecin beklenenden zor ilerlediğini aktarıyor. İlk SWE-bench çalışmasında 90 binden biraz fazla pull request içinden yalnızca 11.407 kayıt göreve dönüştürülebilir bulundu ve bunların 2.294’ü çalıştırılabilir görev olarak kaldı. SWE-bench Verified için incelenen 1.699 görevin üçte ikisinden fazlası elendi. TaskTrove ve diğer veri kümelerine ilişkin denetimler de bozuk testler, eksik bağımlılıklar ve sızan çözümler gibi sorunları ortaya koydu.

Yazıya göre hukuk, tıp, bilim ve satış gibi alanlarda görevleri yeniden üretilebilir ortamlara dönüştürmek yazılımdan daha zor olacak. Bu nedenle frontier AI şirketleri, görevleri, ortamları, değerlendirme ölçütlerini ve doğrulayıcıları insan emeğiyle üretmek zorunda kalıyor. Açık modeller topluluğu için çözüm, insan faaliyetlerinin izlerini sistematik biçimde kaydetmek ve bunları ortak kullanıma açmak olarak sunuluyor. Aksi durumda görev verileri birkaç şirketin özel varlığına dönüşerek yapay zekanın yönünü ve ekonomik faydalarını sınırlı bir grubun belirlemesine yol açabilir.