Günümüz yapay zeka modellerinin temelini oluşturan Transformer'lar, self-attention mekanizması sayesinde büyük başarılara imza atmaktadır. Ancak, standart self-attention'ın maliyeti bağlam uzunluğuyla doğru orantılı olarak artmakta, bu da depolama, hesaplama ve enerji taleplerini toplumun karşılayabileceğinin ötesine taşımaktadır. Bu sorunu ele almak amacıyla, araştırmacılar self-attention'ın her token başına sabit maliyetle, keyfi hassasiyette verimli bir şekilde hesaplanabileceğini göstermiştir. Bu yeni yaklaşım, bellek kullanımında ve hesaplama maliyetlerinde katlarca azalma sağlayarak mevcut kısıtlamaları aşmayı hedeflemektedir.
Bu verimlilik, geleneksel formülasyonun Taylor açılımını tensör çarpımlarının simetrik zincirleri üzerindeki ifadelere ayrıştırarak elde edilmiştir. Araştırmacılar, bu simetriyi kullanarak sorguları (queries) ve anahtarları (keys) minimal bir polinom-çekirdek özellik tabanındaki koordinatlara verimli bir şekilde eşleyen ileri beslemeli dönüşümler geliştirmiştir. Dikkat çekici bir şekilde, maliyet head (başlık) boyutuyla ters orantılı olarak sabitlenmekte, bu da her token için daha önce mümkün olandan daha fazla sayıda head uygulanmasına olanak tanımaktadır. Bu formülasyonun uygulanması ve deneysel olarak doğrulanması, yöntemin pratikliğini ve etkinliğini kanıtlamıştır.
Bu çalışma, büyük ölçekli Transformer modellerinin altyapı ve enerji taleplerini önemli ölçüde azaltarak, mütevazı ve sabit bir maliyetle sınırsız token üretimine olanak tanımaktadır. Tanıtılan matematiksel tekniklerin bağımsız olarak da ilgi çekici olduğu belirtilmektedir. Bu yenilik, yapay zeka modellerinin ölçeklenebilirliği ve sürdürülebilirliği açısından kritik bir adım olarak öne çıkmaktadır.
Transformer modellerinin self-attention maliyetini bağlam uzunluğundan bağımsız hale getirerek, yapay zeka modellerinin ölçeklenebilirliğini ve enerji verimliliğini devrim niteliğinde artırıyor.