Büyük dil modellerinin ağırlık düzenleme becerisi insanüstü değil

Yeni yayımlanan bir araştırma, GPT-6 Astra modelinin küçük yapay sinir ağlarının ağırlıklarını doğrudan okuyup değiştirebildiğini ve insanüstü bir yetenek sergilediğini öne sürdü. Çalışmada modelin yalnızca ağırlıklara bakarak bir ağın hangi oyunu oynamak üzere eğitildiğini belirlediği aktarıldı. Astra ayrıca doğrudan ağırlıkları güncelleyerek 800 milyon parametreli Qwen modelinin matematik performansını artırdı.

Yayımlanan analiz ise bu başarıların insan araştırmacıların kapasitesinin ötesinde olmadığını ortaya koydu. Oyun tespiti görevinde modelin girdi kanallarının etiketli olduğu ve ilk katmandaki ağırlık normlarının basit Python hesaplamalarıyla ısı haritasına dönüştürülebildiği belirtildi. Breakout veya Pac-Man gibi oyunların bu görsel haritalardan uzman bir insan tarafından da anında anlaşılabileceği kaydedildi.

Qwen modelinin matematik yeteneğindeki iyileştirmenin ise döngüye girme sorununu çözmekten ibaret olduğu açıklandı. Modelin 32 bin belirteç sonrasında tekrara düştüğü ve Astra'nın döngü oluşturan ağırlıkları bilinen yönlendirme yöntemleriyle budadığı vurgulandı. Ağırlıkları doğrudan elle düzenlemenin makine kodunu elle yazmaya benzediği, en verimli yöntemin standart eğitim süreçleri olmaya devam ettiği ifade edildi.