Transformer mimarisinin iç yapısı tarayıcıda görselleşti

Georgia Institute of Technology bünyesindeki araştırmacılar, modern üretken yapay zeka sistemlerinin temelini oluşturan Transformer mimarisini tarayıcı üzerinden interaktif olarak açıklayan Transformer Explainer aracını geliştirdi. Araç, Andrej Karpathy'nin nanoGPT projesine dayanan ve 124 milyon parametreye sahip GPT-2 modelini ONNX Runtime kullanarak doğrudan istemci tarafında çalıştırıyor. Kullanıcılar, metin girişlerinin model blokları içinde nasıl işlendiğini ve bir sonraki kelimenin nasıl tahmin edildiğini gerçek zamanlı gözlemliyor.

Sistem, metinlerin gömme (embedding) vektörlerine dönüşümünden başlayarak çok başlı dikkat mekanizması ve çok katmanlı algılayıcı katmanlarına kadar uzanan tüm süreci adım adım görselleştiriyor. GPT-2 modelinde 50 bin 257 benzersiz belirteç 768 boyutlu vektörlerle temsil ediliyor ve 12 dikkat başlığı üzerinden ilişkiler analiz ediliyor. Kullanıcılar arayüzde sıcaklık katsayısı, top-k ve top-p gibi örnekleme parametrelerini değiştirerek olasılık dağılımının ve metin tahminlerinin değişimini doğrudan inceliyor.

Geliştiriciler, JavaScript tabanlı arayüzün ön yüzünde Svelte çatısı ve dinamik veri görselleştirmeleri için D3.js kütüphanesini kullandı. Karmaşık derin öğrenme süreçlerini görünür kılan araç; katman normalizasyonu, artık bağlantılar ve seyreltme (dropout) gibi yardımcı mimari bileşenleri de somut matematiksel işlemler üzerinden açıklıyor. Modelin tarayıcıda yerel çalışması, ek bir sunucu maliyeti olmadan derinlemesine bir inceleme ortamı sunuyor.