Transformer mimarisinin Turing tamlığı derleyici ile kanıtlandı
Öne çıkanlar
- Transformer modelleri MLP ile hesaplama ve dikkat mekanizmasıyla bellek işlemleri yaparak Turing tamlığına ulaşıyor.
- Geliştirilen derleyici ek eğitime gerek kalmadan assembly kodunu doğrudan Llama modeli ağırlıklarına dönüştürdü.
- Bellek aramaları için modelin bağlam penceresi ve standart RoPE dikkat mekanizması kullanıldı.
Yayımlanan teknik analiz, transformer tabanlı büyük dil modellerinin mimari sınırları nedeniyle belirli görevleri asla yapamayacağı yönündeki iddiaları çürüttü. Çalışma, çok katmanlı algılayıcıların (MLP) genel hesaplamaları gerçekleştirebildiğini ve dikkat (attention) mekanizmasının yazılabilir bellek işlevi gördüğünü göstererek bu modellerin teorik olarak Turing tamı olduğunu açıkladı. Bu yaklaşım, dil modellerinin hesaplanabilir her algoritmayı yürütebileceğini ortaya koydu.
İddiayı doğrulamak amacıyla basit bir assembly dilini doğrudan standart bir Llama modelinin ağırlıklarına dönüştüren bir derleyici geliştirildi. Sistem herhangi bir ek eğitime ihtiyaç duymadan, verilen kodu çalıştıracak ağırlık setini doğrudan üretti. Modelin bağlam penceresi yalnızca ekleme yapılabilen bir bellek deposu olarak kullanıldı ve adres-değer ikilileri belirteçler halinde bu alana kaydedildi.
Standart RoPE dikkat mekanizması ise bellekteki en son yazma işlemlerini aramak ve getirmek için yeterli oldu. Analiz, transformer modellerinin herhangi bir assembly kodunu çalıştırabildiğini, dolayısıyla hesaplanabilir her görevi teorik olarak öğrenebileceğini belirtti. Bu durum, gelecekte mimari değişikliğin tamlık zorunluluğundan değil yalnızca verimlilik gerekçelerinden kaynaklanabileceğini gösteriyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.