Modern büyük dil modelleri (LLM'ler), genellikle "düşünme" süreçlerini zincirleme düşünce (CoT) gibi açık metin üretimi yoluyla gerçekleştirir. Bu yaklaşım, akıl yürütmeyi eğitim sonrası aşamaya bırakır ve ön eğitim verilerinden tam olarak yararlanamaz. Bu sorunu ele almak amacıyla, araştırmacılar Ouro adını verdikleri, özyinelemeli Ouroboros'tan esinlenen yeni bir önceden eğitilmiş Döngüsel Dil Modelleri (LoopLM) ailesi geliştirdi. LoopLM'ler, akıl yürütmeyi doğrudan ön eğitim aşamasına entegre ederek mevcut yöntemlerden ayrılıyor.
LoopLM'ler, bu entegrasyonu üç temel mekanizma aracılığıyla başarıyor: gizli uzayda yinelemeli hesaplama, öğrenilmiş derinlik tahsisi için entropi düzenlemeli bir hedef ve 7.7 trilyon tokene kadar ölçeklenebilirlik. Yapılan deneylerde, Ouro 1.4B ve 2.6B modellerinin, çok çeşitli kıyaslama testlerinde 12 milyar parametreli en güncel LLM'lerin performansına eşdeğer veya daha üstün sonuçlar sergilediği gözlemlendi. Bu üstünlüğün, modellerin artan bilgi kapasitesinden ziyade, bilgiyi işleme ve manipüle etme yeteneklerinin gelişmiş olmasından kaynaklandığı vurgulanıyor.
Ayrıca, LoopLM'lerin ürettiği akıl yürütme izlerinin, açık CoT yöntemlerine kıyasla nihai çıktılarla daha uyumlu olduğu gösterildi. Bu sonuçlar, LoopLM'lerin akıl yürütme çağında yeni bir ölçeklendirme yönü olarak büyük bir potansiyele sahip olduğunu ortaya koyuyor. Araştırmacılar, bu modelleri açık kaynak olarak sunarak yapay zeka topluluğunun gelişimine katkıda bulunmayı hedefliyor.
Bu çalışma, dil modellerinin akıl yürütme yeteneklerini artırmak için mevcut yöntemlerin ötesine geçerek, ön eğitim aşamasında gizli hesaplamayı kullanarak daha verimli ve uyumlu sonuçlar elde edilebileceğini gösteriyor.