Induction Labs yapay zeka ajanları için FrontierML testini sundu
Öne çıkanlar
- Ajanlara görev başına 10, 50 ve 200 dolarlık işlem bütçeleri tanımlandı.
- Claude Opus 5.5, 58,8 puan alarak liderlik tablosunun zirvesine yerleşti.
- Ajanlar ayrılan bütçenin ortalama yüzde 46'sını harcadı.
- Model eğitim döngülerinin yüzde 87'sinde ajanlar kendi PyTorch kodunu yazdı.
Induction Labs, yapay zeka ajanlarının kendilerine ayrılan bütçeyi model performansına dönüştürme yeteneğini ölçen FrontierML adlı yeni değerlendirme testini 13 Ekim 2026 tarihinde duyurdu. Araştırma ekibi, mevcut testlerin yalnızca modellerin düşünme süresini ölçeklendirdiğini, FrontierML'in ise ajanlara doğrudan finansal sermaye vererek harcama kararlarını incelediğini açıkladı. Ajanlara görev başına 10, 50 ve 200 dolarlık harcama limitleri tanımlandı ve ek bütçenin performansa yansıma düzeyi puanlandı.
FrontierML, dil, görüntü, ses ve oyun alanlarını kapsayan 21 uçtan uca makine öğrenmesi görevinden oluşuyor. Ajanlar mimari seçimi, veri toplama, GPU kiralama, eğitim döngüsü yazma ve çıkarım sunucusu hazırlama süreçlerinin tamamını bağımsız yönetti. Modellerin hazırladığı sistemler internet bağlantısı bulunmayan tek bir H100 sunucuda test edildi. Hile girişimlerini engellemek için değerlendirme sürecinde ayrı bir denetçi ajan görevlendirildi ve dağıtım dışı test kümeleri kullanıldı.
Test sonuçlarında Claude Opus 5.5, 58,8 puan ve 127,67 dolar harcama ile liderliği aldı. Claude Sonnet 5.5 ikinci, GPT-6 Astra ise üçüncü sırada yer buldu. Ajanların kendilerine verilen bütçenin ortalama yalnızca yüzde 46'sını harcadığı ve 12 saatlik sürenin yarısını kullandığı saptandı. Ayrıca sentetik veri üretimi için yapılan API çağrılarının yüzde 67'sinde bir yıldan eski modellerin tercih edildiği görüldü.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.