Rust ile sıfırdan geliştirilen dil modeli PSSA yayımlandı

Geliştirici Sparticle62ops, Transformer mimarisine dayanmayan ve Rust diliyle harici makine öğrenimi çatısı kullanılmadan sıfırdan yazılan PSSA adlı açık kaynaklı küçük dil modelini GitHub üzerinden yayımladı. Model, metinleri yinelemeli bir durum uzayı katmanı üzerinden adım adım işliyor, sabit boyutlu epizodik bellek bankasında arama yapıyor ve çalışma sırasında kendi ağırlıklarının bir kısmını güncelliyor. PyTorch veya TensorFlow gibi araçlara ihtiyaç duymayan yazılım, tüm lineer cebir işlemlerini doğrudan Rust üzerinde yürütüyor.

WikiText-103 veri setinin temizlenmiş 12,7 milyon belirteçlik bölümü üzerinde yapılan karşılaştırmalı testlerde, 1,5 milyon parametreli PSSA modeli standart bir Transformer mimarisiyle sınandı. PSSA eğitim sürecini 3,98 çapraz entropi ve 53,7 karmaşıklık skoruyla tamamlarken, aynı bütçeyi kullanan Transformer modeli 4,43 çapraz entropi ve 83,7 karmaşıklık seviyesinde kaldı. Görülmemiş yaklaşık 200 bin belirteçlik doğrulama kümesinde de PSSA yüzde 24,1 sonraki belirteç doğruluğuna ulaşarak rakibini geride bıraktı.

İşlemci üzerindeki metin üretim hızlarında PSSA, Transformer modeline kıyasla belirgin bir üstünlük sergiledi. Sabit boyutlu bir durum taşıması ve tüm bağlamı her adımda yeniden okumak yerine bellek bankasından veri çekmesi sayesinde PSSA, 200 belirteci 226 milisaniyede üretirken Transformer tarafında bu süre 2 bin 735 milisaniye olarak ölçüldü. Bu durum PSSA mimarisinin CPU üzerinde yaklaşık 12 kat daha hızlı metin ürettiğini ortaya koydu. Proje ekibi sonuçların küçük ölçekli bir araştırma prototipine ait olduğunu belirterek daha geniş ölçekli donanım kaynaklarına ihtiyaç duyulduğunu açıkladı.