Araştırmacılar transformer modellerinin iç mekanizmasını matematiksel yöntemle modelledi
Öne çıkanlar
- MLP blokları çıkarılarak sadece dikkat katmanlarına sahip iki katmanlı modeller incelendi.
- Tek katmanlı transformer modellerinin iki ve üç sözcüklü aralıklı dizilimler ürettiği kanıtlandı.
- Bağlam içi öğrenmeyi sağlayan indüksiyon başlıklarının en az iki katmanlı mimarilerde geliştiği tespit edildi.
Yapay zeka araştırmacıları, karmaşık transformer mimarilerini tersine mühendislikle çözümlemek amacıyla matematiksel bir çerçeve geliştirdi. Modern dil modellerinin devasa boyutu karşısında analiz sürecini en yalın hale getiren çalışma, çok katmanlı yapay sinir ağlarını anlamlandırmak için MLP katmanlarını dışarıda bırakıp iki veya daha az katmana sahip dikkat tabanlı basitleştirilmiş modellere odaklandı.
Araştırma kapsamında transformer mekanizması hesaplama açısından eşdeğer ancak insan algısına daha uygun şekilde yeniden formüle edildi. Geliştirilen yöntemde artık akışının doğrusal yapısından yararlanılarak dikkat başlıklarının işlevleri bağımsız yollar olarak modellendi. Tek katmanlı modellerin temelde iki sözcüklü ve aralıklı üç sözcüklü dizilim tabloları gibi davrandığı saptandı; dikkat başlıklarının büyük ölçüde önceki belirteçleri kopyalamaya ayrıldığı belirlendi.
Çalışmada bağlam içi öğrenmenin temelini oluşturan ve en az iki katmanlı modellerde ortaya çıkan indüksiyon başlıkları mekanizması tanımlandı. Araştırmacılar, geliştirilen matematiksel çatının ilerleyen aşamalarda modern ve büyük modellere uyarlanabileceğini bildirdi. Elde edilen bulgular, yapay zekanın öngörülebilirliğini ve güvenliğini sistematik biçimde denetlemek için zemin hazırlıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.