Dust algoritması geriye yayılım olmadan dönüştürücü modelleri eğitiyor

Araştırmacılar, modern yapay zeka modellerinin temelini oluşturan geriye yayılım (backpropagation) algoritmasına ihtiyaç duymayan Dust adlı yeni bir sıfırıncı derece optimizasyon yöntemi geliştirdi. Yöntem, dönüştürücü (transformer) dil modellerinin ön eğitiminde doğrudan ağırlıkları değiştirmek yerine her belirteçteki (token) aktivasyon değerlerini bağımsız olarak bozarak çalışıyor. Böylece her belirteç sanal bir popülasyon üyesine dönüşüyor ve tek bir ileri geçişte tüm bu üyeler paralel şekilde değerlendiriliyor.

FineWeb veri kümesi üzerinde yapılan testlerde Dust, belirli koşullarda geriye yayılım algoritmasıyla yarışır ve hatta bazı senaryolarda onu geride bırakır düzeyde performans sergiledi. Geleneksel ağırlık uzayı evrimsel stratejileriyle karşılaştırıldığında Dust, EGGROLL yöntemine kıyasla bin ila on bin kat daha yüksek verimlilik sağladı. Araştırma ekibi, popülasyon boyutu arttıkça Dust tarafından üretilen gradyan tahminlerinin geriye yayılım gradyanlarıyla daha uyumlu hale geldiğini ve bu durumun 1 milyar belirtece kadar korunduğunu bildirdi.

Sıfırıncı derece yöntemlerin büyük modellerde ölçeklenemeyeceğine dair genel kanının aksine, Dust ile yürütülen deneylerde daha büyük modellerin daha yüksek popülasyon verimliliği gösterdiği belirlendi. Örneğin 243 milyon parametreli bir model, kendisinden 120 kat daha küçük bir modele kıyasla çoğu popülasyon boyutunda daha iyi sonuç verdi. Araştırmacılar, bu yaklaşımın yüksek hesaplama gücü rejiminde geriye yayılım kısıtlamalarını aşabilecek alternatif mimariler için bir temel oluşturduğunu aktardı.