Araştırmacılar dikkat mekanizması yerine Grassmann akışlarını önerdi

Araştırmacılar, dizilim modellemesinde yaygın olarak kullanılan standart öz dikkat mekanizmasına alternatif olarak Grassmann akışlarına dayalı yeni bir mimari geliştirdi. 22 Aralık 2025 tarihinde yayımlanan çalışmada, standart çok başlı dikkat yapısının tensör genişletme yöntemi olarak çalıştığı ve çok katmanlı yapılarda matematiksel olarak takip edilemeyen opak bir yapı ürettiği belirtildi. Ekip, dikkat matrisleri kurmak yerine geometrik alt uzay deformasyonlarına dayanan bir model tasarımı sundu.

Önerilen Nedensel Grassmann katmanı, simge durumlarını doğrusal olarak indirgiyor, yerel simge çiftlerini Plücker koordinatları aracılığıyla iki boyutlu alt uzaylar şeklinde kodluyor ve kapılı karıştırma mekanizmasıyla gizli durumlara geri aktarıyor. Bu sayede hesaplama, serbest tensör uzayı yerine sonlu boyutlu bir manifold üzerinde gerçekleşiyor. Sabit mertebe durumunda dizilim uzunluğuyla doğrusal ölçeklenen yöntem, dizilim işleme maliyetlerini matematiksel sınırlar içinde tutuyor.

Wikitext-2 dil modelleme testlerinde 13 ila 18 milyon parametreli Grassmann modelleri, eşdeğer Transformer modellerinin yüzde 10 ila 15 yakınında doğrulama karmaşıklığı elde etti. SNLI doğal dil çıkarımı görevinde ise DistilBERT üzerine kurulan Grassmann başlığı, 0,8538 test başarımı göstererek 0,8511 değerine ulaşan standart Transformer başlığını geride bıraktı. Araştırma ekibi, manifold tabanlı yaklaşımların sinir ağlarında akıl yürütmeyi geometrik açıdan açıklanabilir kıldığını açıkladı.