Geliştirici sıfırdan eğittiği Transformer ile ARC testinde yüzde 44 başarı yakaladı
Öne çıkanlar
- Model, tek bir RTX 5090 üzerinde 1,5 saatte ve 67 sentlik maliyetle eğitildi.
- 3D RoPE ve göreve özel gömmelerin kaldırılması model skorunu yüzde 24 seviyesine düşürdü.
- Girdi tokenlarını kayıp fonksiyonundan çıkarıp sadece çıktılara odaklanmak başarıyı artırdı.
Bağımsız bir araştırmacı, tek bir Nvidia RTX 5090 ekran kartı üzerinde 1,5 saatte sıfırdan eğittiği sekiz katmanlı Transformer modeliyle ARC-AGI-1 testinde yüzde 44 başarı oranına ulaştı. Toplam işlem maliyeti yalnızca 67 sent tutan çalışma, devasa parametreli birçok büyük dil modelinin skorunu geride bıraktı.
Sistem, girdi ve çıktı ızgaralarını 3D RoPE konumsal kodlamaları ve göreve özel gömmelerle token dizilerine dönüştürüyor. Araştırmacı, modelin örnek verimliliğini artırmak amacıyla modern mimari bileşenler, NorMuon optimizasyon algoritması ve yalnızca hedef çıktı tokenlarını kapsayan denetimli bir kayıp fonksiyonu kullandı. Kodları açık kaynak olarak yayımlanan yöntem, ARC-2 testinde de yüzde 7 skor elde etti.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.