Yeni nesil Transformer mimarisinde döngü yerine özyineleme öneriliyor
Öne çıkanlar
- Döngüsel Transformer mimarisinde artık akışa yapılan müdahaleler Q, K ve V matrislerini kontrolsüz biçimde eşzamanlı değiştiriyor.
- Yeni öneri, düşünce zincirini bir yığın yapısına dönüştürerek tamamlanan akıl yürütme bloklarının bellekten atılmasını sağlıyor.
- Sistem, veritabanı mimarilerindeki LSM mantığını kullanarak bağlamı beş farklı hiyerarşik seviyede yönetiyor.
Teknik bir analiz yayımlayan araştırmacı, büyük dil modellerinde son dönemde tartışılan Loop Transformer yaklaşımını eleştirerek özyinelemeli yeni bir mimari önerdi. İncelemede, model katmanlarının aynı parametrelerle art arda çalıştırıldığı standart döngü yapısının dikkat skorları ile değer vektörlerini birbirine doladığı, bu durumun da bağlam yönetiminde kontrol kaybı yarattığı belirtildi.
Analizde, salt döngüsel bloklar yerine düşünce zincirini (CoT) bloklara bölen ve yığın (stack) mantığıyla çalışan hiyerarşik bir bellek yapısı savunuluyor. Veri tabanlarındaki LSM ağacı prensiplerinden esinlenen bu sistemde, düşünce zincirleri L0'dan L4'e kadar seviyelendiriliyor. Model, geçici akıl yürütme adımlarını özet bloklara dönüştürerek eski KV önbellek yükünü hafifletiyor ve Sparse Attention mekanizması üzerinden sadece ilgili blokları dinamik olarak okuyor.
Araştırmacı, ChatGPT ile başlayan ilk nesil ve o1 ile R1 gibi uzun akıl yürütme modelleriyle gelen ikinci neslin ardından, içsel özyinelemeli bağlam yönetiminin üçüncü nesli temsil ettiğini kaydetti. Yeni yaklaşımın, harici kod çatılarına bağımlılığı azaltarak modellerin kendi bağlamını yönetmesini ve recursive self-improvement (RSI) hedefine yaklaşmasını sağladığı vurgulandı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.