Çizge modelleri için döner konumsal kodlama geliştirildi

Çizgeler üzerinde çalışan Transformer modelleri, düğümler arasındaki mesafeyi geleneksel olarak dikkat mekanizmasına eklenen ikili sapmalarla hesaplıyor. Bu yöntem en kısa yol mesafesini veya etkin direnci hesaba katarken, ikinci dereceden maliyet yaratarak modellerin büyük çizgelerde çalışmasını engelliyor. Araştırmacılar, dil modellerinde yaygın kullanılan RoPE tekniğini Laplace özvektörleriyle birleştirerek çizgeler için göreli konumsal kodlama geliştirdi. Bu yöntem, karesel dikkat matrisi oluşturma zorunluluğunu ortadan kaldırarak çizgelerde doğrusal dikkat mekanizmasının önünü açıyor.

Geliştirilen WIRE yöntemi, grafiğin Laplace özvektörlerini frekans girdisi olarak alıyor ve sorgu ile anahtar vektörlerini bağımsız biçimde döndürüyor. Bu sayede dikkat puanı mutlak konum yerine düğümler arasındaki göreli uzaklığa bağlı hale geliyor. Yapılan teorik analizler, yöntemin 1D ve 2D RoPE yaklaşımlarını kapsadığını ve beklenen dikkat değerinin düğümler arası etkin dirençle ters orantılı sönümlendiğini ortaya koyuyor. Çözüm, Performer mimarisi gibi doğrusal dikkat modellerinde kullanıldığında bellek ve işlem maliyetini önemli ölçüde düşürüyor.

Yayımlanan kodlar üzerinde yapılan bağımsız incelemeler ise teorik iddialar ile pratik uygulama arasında bazı farklılıklar olduğunu gösteriyor. Tek bir dikkat başlığının etkin direnci doğrudan hesaplamada zayıf kaldığı, ancak yöntemin 12 test senaryosunun 11'inde Performer taban modelini geride bıraktığı görülüyor. Düğüm sayısının yüksek olduğu ve karesel matrislerin belleğe sığmadığı büyük çizge veri setlerinde doğrusal dikkat entegrasyonu pratik bir alternatif sunuyor.