Yapay zekanın temelindeki dikkat mekanizması insan zekasını açıklamaya yetmiyor

Modern büyük dil modellerinin temelini oluşturan dikkat mekanizması, 2014 yılında Montreal Üniversitesinde araştırmacı Dzmitry Bahdanau tarafından makine çevirisindeki bellek darboğazını aşmak amacıyla geliştirildi. Geleneksel yapay sinir ağları uzun cümlelerde anlam kaybı yaşarken Bahdanau, her kelimenin diğer kelimelerle bağlam kurmasını sağlayan matematiksel bir yöntem tasarladı. Bu yaklaşım, Google araştırmacılarının 2017 yılında yayımladığı ve transformatör mimarisini tanıtan makaleyle küresel yapay zeka sektörünün merkezine yerleşti.

Transformatör modelleri, metin dizilerini sorgu, anahtar ve değer vektörlerine dönüştürerek bağlamı matematiksel olarak işliyor. Çok katmanlı dikkat başlıkları, zamirlerin hangi isimlerle ilişkili olduğunu ve karmaşık kavramsal bağları trilyonlarca ağırlık güncellemesiyle öğreniyor. Sıradaki kelimeyi tahmin etme hedefi; çeviri, mantıksal çıkarım ve olgusal bilgi gibi çok sayıda insan yeteneğini tek bir çatı altında topluyor. Bu durum, dil modellemenin genel yapay zeka hedefine ulaşmada kapsayıcı bir rol üstlendiği fikrini güçlendiriyor.

Buna karşın bilişsel bilim araştırmaları, insan düşüncesinin yalnızca dilden ibaret olmadığını ve beynin fiziksel deneyimler, duyusal algılar ile hafıza ağlarını da kullandığını gösteriyor. Makalenin yazarlarından Llion Jones, insan beyninin tüm internet verisine ihtiyaç duymadan ve çok daha düşük enerjiyle aynı işlevi yerine getirdiğini belirterek mevcut transformatör yaklaşımının verimlilik sınırlarına ulaştığını kaydetti. Uzmanlar, insan düzeyinde verimli bir zeka için mevcut mimarinin ötesinde köklü paradigma değişikliklerine ihtiyaç duyulduğunu vurguluyor.