Mevcut Transformer tabanlı dil modelleri, token bazında yatay tarama yaparak çalışır ve her üretim adımında giderek büyüyen bir token seviyesi durumları dizisine dikkat eder. Bu erişim deseni, ön doldurma gecikmesini artırır ve uzun bağlamlı kod çözmeyi giderek daha fazla bellek sınırlı hale getirir. Bunun nedeni, aritmetik hesaplamadan ziyade KV-önbellek okuma ve yazma işlemlerinin çıkarım verimini domine etmesidir. Bu durum, özellikle uzun metinlerin işlenmesinde ve çoklu sorgu görevlerinde performans darboğazlarına yol açar.
Bu sorunları çözmek amacıyla, Parallel Hierarchical Operation for Top-down Networks (PHOTON) adlı hiyerarşik bir otoregresif model önerilmiştir. PHOTON, düz tarama yaklaşımını dikey, çok çözünürlüklü bağlam erişimiyle değiştirir. Model, hiyerarşik bir gizli akışlar dizisi sürdürür: alttan yukarıya doğru çalışan bir kodlayıcı, token'ları düşük oranlı bağlamsal durumlara aşamalı olarak sıkıştırırken, hafif üstten aşağıya doğru çalışan kod çözücüler ise ince taneli token temsillerini yeniden yapılandırır. Bu mimari, bellek kullanımını optimize eder ve işlem hızını artırır.
Deneysel sonuçlar, PHOTON'un verim-kalite dengesi açısından rekabetçi Transformer tabanlı dil modellerinden üstün olduğunu göstermektedir. Özellikle uzun bağlamlı ve çoklu sorgu görevlerinde önemli avantajlar sunar. PHOTON, kod çözme zamanı KV-önbellek trafiğini azaltarak, birim bellek başına 10^3 kata kadar daha yüksek verim sağlar. Bu yenilik, büyük dil modellerinin daha verimli ve ölçeklenebilir bir şekilde çalışmasına olanak tanıyarak, yapay zeka uygulamalarında yeni kapılar açmaktadır.
PHOTON, Transformer modellerinin uzun bağlam işleme ve bellek verimliliği sorunlarını hiyerarşik bir yaklaşımla çözerek, dil üretiminde önemli performans iyileştirmeleri sunuyor.