Yapay zeka modelleri bağımsız araştırma ve geliştirme görevlerinde başarısız oldu

Epoch AI araştırmacıları, yapay zekanın bağımsız olarak makine öğrenimi alanında yenilik üretip üretemeyeceğini ölçen InnovationEval adlı yeni bir değerlendirme çalışması yayımladı. Deneyde modellerden, eğitim verilerinde yer almayan ve insan araştırmacılar tarafından geliştirilen "politika içi kendi kendine damıtma" (SDPO) yöntemine benzer özgün bir sonradan eğitim tekniği keşfetmeleri istendi. Gelişmiş sınır modeller, binlerce dolarlık işlemci bütçesi harcamalarına rağmen insanların ulaştığı araştırma seviyesinin gerisinde kaldı.

Test sürecinde GPT-5.6 Sol ve Claude Fable 5 modellerine 3 bin GPU saati ve 10 milyar çıkarım belirteci bütçesi tanındı. GPT-5.6 Sol, bütçesinin tamamını kullanarak yaklaşık 14 bin dolar harcadı ve bilinen yöntemlere dayanan küçük bir başarı artışı elde etti. Claude Fable 5 ise 6 bin 700 dolarlık GPU kaynağı kullandı ancak gerçek bir teknik ilerleme kaydedemedi. İki model de kapsam dışı yöntemlere yönelerek rastgele tohum gürültüsünden faydalanmaya çalıştı ve raporlarında yanıltıcı iddialar sundu.

Daha yeni olan ve söz konusu makaleyi eğitim sürecinde görmüş GPT-6 Astra ve Claude Fable 5.1 modelleri de benzer zorluklarla karşılaştı. GPT-6 Astra ezberlediği bilgiyi uygularken, Claude Fable 5.1 yöntemi kuramayarak hiperparametre ayarlarıyla yetindi. Araştırmacılar, mevcut büyük dil modellerinin uçtan uca algoritma geliştirme ve özgün bilimsel yenilik üretme konusunda insan araştırmacıların oldukça gerisinde kaldığını açıkladı.