Yerel Qwen 3.8 modeli sinir ağı ağırlıklarını doğrudan yorumlayabiliyor
Öne çıkanlar
- Qwen 3.8 27B, harici araç kullanmadan yalnızca ham ağırlıklardan Pac-Man, Pong ve Breakout oyunlarını tespit etti.
- Model, Pac-Man oyununun ağırlıklarını 43 bin akıl yürütme belirteciyle 46 dakikada analiz etti.
- Araştırmacılar, modellerin ham ağırlıkları okuyup düzenleme yeteneğini "Ağırlık Uzayı Programlama" olarak tanımladı.
Yeni yayımlanan bir araştırma makalesi, büyük dil modellerinin araç veya kod çalıştırmadan yalnızca kayan noktalı sayı dizilerini inceleyerek sinir ağlarının davranışlarını anlayabildiğini gösterdi. Araştırmacılar, bu yeteneği "Ağırlık Uzayı Programlama" olarak adlandırdı. Yapılan deneylerde, basitleştirilmiş atari oyunlarını oynamak üzere eğitilen küçük modellerin ağırlıkları metin olarak sunulduğunda, modellerin hangi oyunun oynandığını tespit edebildiği görüldü.
Araştırmadaki yaklaşımı dizüstü bilgisayarda çalışan açık kaynaklı Qwen 3.8 27B modeli üzerinde test eden bağımsız bir geliştirici, yerel modelin de bu analizi başarıyla tamamladığını bildirdi. Model, hiçbir araç kullanmadan sadece ağırlık sayılarından yola çıkarak Pac-Man, Pong ve Breakout oyunlarını doğru tahmin etti. Qwen, Pac-Man oyununu 46 dakikada, Pong oyununu ise 1 saat 4 dakikada analiz etti. Daha az bilinen Freeway oyununda ise doğru sonuca ulaşamadı.
Araştırma, büyük modellerin eğitim döngülerine girmeden diğer ağların ağırlıklarını doğrudan düzenleyebileceğini de öne sürüyor. Ancak uzmanlar, modellerin kod yardımıyla yaptığı değişiklikler ile saf ağırlık yorumlama yeteneğinin birbirinden ayrı değerlendirilmesi gerektiğini belirtiyor. Geliştirici, elde edilen sonuçların etkileyici olduğunu fakat yazılım geliştirme pratiklerinin tamamen ortadan kalktığı yönündeki iddiaların temelsiz olduğunu ifade etti.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.