Yapay zeka mimarileri bellek kapasitesi analiziyle transformer yapısına ulaşıyor

Teknik bir analiz, modern büyük dil modellerinin bilgi saklama ve geri çağırma yeteneklerini çağrışımsal bellek perspektifi üzerinden inceledi. Çalışma, doğrusal katmanların, çok katmanlı algılayıcıların (MLP) ve öz-dikkat mekanizmasının aslında farklı kapasitelere sahip bellek depoları olduğunu ortaya koydu. Belleğin etkinliğini belirleyen ana ölçüt olarak sinyal-parazit oranı temel alındı ve depolanan anı sayısı arttıkça yaşanan bilgi karışması matematiksel olarak modellendi.

Analize göre, dış çarpımlarla oluşturulan temel bir doğrusal bellek deposunun kapasitesi anahtar boyutuyla sınırlı kalıyor ve 64 boyutlu anahtarlarda yalnızca yaklaşık 64 anı tutabiliyor. Doğrusal regresyonla eniyilenmiş model kapasiteyi iki katına çıkarırken, doğrusal olmayan aktivasyon fonksiyonları kullanan MLP katmanları düşük benzerlikleri bastırarak paraziti önemli ölçüde azaltıyor. Örneğin, karesi alınmış ReLU aktivasyonu kullanan bir MLP deposunun kapasitesi yaklaşık 2 bin 700 seviyesine yükseliyor.

Sürecin limit noktası incelendiğinde, benzerlik ağırlıklarını üslü fonksiyona bağlayan yapının softmax mekanizmasına ve doğrudan öz-dikkat mimarisine yol açtığı gösterildi. Öz-dikkat mimarisi, parametrik olmayan yapısı sayesinde bağlam uzunluğu boyunca anahtarları dinamik olarak işleyebiliyor ve 64 boyutlu anahtarlarla 1,2 milyonun üzerinde anıyı güvenle geri çağırabiliyor. Çalışma, uzun bağlamlarda kararlılık sağlamak amacıyla dikkat lojitlerinin bağlam boyutunun logaritmasıyla ölçeklendirilmesini öneriyor.