Tiny-Net iki boyutlu belirteç gömmelerini görselleştiriyor
Öne çıkanlar
- Tiny-Net, doğrudan tarayıcı içinde çalışan iki boyutlu bir bayt gömme modeli sunuyor.
- Model, 2 boyutlu gömme ve 64 birimlik gizli katmanla bir sonraki baytı tahmin ediyor.
- Eğitim adımları doğrudan HTML dosyasına gömülü külliyat üzerinden SGD ile yürütülüyor.
Geliştirici Robert David Graham, doğrudan tarayıcı üzerinde çalışan ve byte düzeyinde belirteç gömmelerini iki boyutlu uzayda eğiten Tiny-Net adlı etkileşimli modelini paylaştı. Çalışma, bir metin külliyatı üzerinden bir sonraki baytı tahmin etmeyi amaçlayan basit bir sinir ağı mimarisini görsel olarak sunuyor.
Sistem, giriş baytını iki boyutlu bir gömme katmanına, ardından 64 birimlik tanh aktivasyonlu gizli katmana ve son olarak 256 boyutlu softmax katmanına aktaran bir mimari kullanıyor. Eğitim süreci, HTML dosyasına gömülü metin külliyatındaki bitişik bayt çiftlerini kullanarak adım başına tek bir stokastik gradyan inişi (SGD) güncellemesiyle ilerliyor.
Modelde a'dan z'ye harfler ile noktalama işaretleri gibi temel karakterlerin iki boyutlu uzaydaki konumları anlık olarak çiziliyor. Bu yaklaşım, dil modellerinin temel yapı taşı olan gömme vektörlerinin eğitim sırasında nasıl kümelendiğini ve anlamsal ilişkiler kurduğunu şeffaf biçimde sergiliyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.