Universal transformer'lar (UT'ler), ARC-AGI ve Sudoku gibi karmaşık akıl yürütme görevlerinde uzun süredir etkili bir şekilde kullanılmaktadır. Ancak, bu modellerin gösterdiği yüksek performans artışlarının ardındaki spesifik kaynaklar ve temel mekanizmalar yeterince derinlemesine incelenmemiştir. Bu eksikliği gidermek amacıyla yapılan bu çalışma, UT varyantlarını sistematik bir analizden geçirerek, ARC-AGI üzerindeki başarıların öncelikle tekrarlayan endüktif önyargıdan ve Transformer mimarisinin güçlü doğrusal olmayan bileşenlerinden kaynaklandığını net bir şekilde ortaya koymuştur. Bu bulgu, performanstaki iyileşmelerin karmaşık mimari tasarımlardan ziyade, modelin temel işleyiş prensiplerinde yattığını göstermektedir.
Bu önemli tespitten ilham alan araştırmacılar, Universal transformer'ı kısa konvolüsyon katmanları ve kesilmiş geri yayılım (truncated backpropagation) teknikleriyle geliştirerek Evrensel Akıl Yürütme Modeli (Universal Reasoning Model - URM) adını verdikleri yenilikçi bir yaklaşım önermişlerdir. URM, bu eklemeler sayesinde akıl yürütme performansını kayda değer ölçüde artırmayı başarmıştır. Model, ARC-AGI 1 veri setinde %53.8 pass@1 ve ARC-AGI 2 veri setinde %16.0 pass@1 gibi etkileyici sonuçlar elde ederek, bu alandaki mevcut en iyi performansı sergilemiştir. Bu başarı, yapay zeka modellerinin soyut akıl yürütme ve problem çözme yeteneklerini geliştirmede yeni ve daha verimli yolların keşfedilebileceğini işaret etmektedir.
Bu çalışma, yapay zeka modellerinin karmaşık akıl yürütme yeteneklerini geliştirmede Universal transformer'ların temel mekanizmalarının önemini vurgulayarak, ARC-AGI gibi zorlu görevlerde yeni bir performans standardı belirliyor.