Recurrent Looped Transformer mimarisi duyuruldu
Öne çıkanlar
- Model, 48 kodlayıcı ve 48 kod çözücü katmanından oluşan bir yapılandırma kullanıyor.
- Belirteç başına 96 blok yürütülürken t belirteç sonunda 48t kod çözücü bloğu geçiliyor.
- Ön eğitim, ince ayar ve pekiştirmeli öğrenme modları aynı durum geçişini paylaşıyor.
Araştırmacı Yifan Zhang, dizi uzunluğuyla birlikte derinliği artan Recurrent Looped Transformer mimarisini yayımladı. Model, nedensel bir kodlayıcı ile her istem ve yanıt belirteci boyunca son gizli durumunu taşıyan yinelemeli bir kod çözücüyü bir araya getiriyor. Kodlayıcı küresel anahtar değer belleğini inşa ederken, kod çözücü katman bazlı kayan pencereli dikkat önbelleğini sonraki adımlara aktararak kesintisiz bir gizli hesaplama yürütüyor.
Sistem tasarımı, model donanım ortak tasarımı ve pekiştirmeli öğrenme algoritmalarıyla birlikte kurgulandı. Modelin somut yapılandırması 48 kodlayıcı ve 48 kod çözücü katmanından oluşuyor ve uyumlu ağırlıklar aşamalar arasında paylaşılarak kullanılıyor. Her belirteç için 96 mantıksal blok yürütülürken, t sayıda belirtecin ardından zamansal yol 48t kod çözücü bloğuna ulaşıyor. Bilinen belirteçler nedensel yığınlar halinde işlenirken, kod çözücü güncellemeleri belirteç sırasına göre ilerliyor.
Mimaride ön eğitim, ince ayar, örnekleme ve pekiştirmeli öğrenme yeniden oynatma süreçleri aynı durum geçişini paylaşıyor. Yeniden oynatma sırasında tüm geçmiş, istem durumları ve kod çözücü önbellekleri mevcut ağırlıklarla yeniden oluşturuluyor. Araştırmacı, sonsuz derinlik ifadesinin belirteç başına sonsuz işlem değil genişletilebilir bir zamansal yol anlamına geldiğini, donanım verimliliği ve akıl yürütme kazanımlarının test edilmeyi beklediğini aktardı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.