Yapay sinir ağlarının sanılandan daha anlaşılır olduğu açıklandı
Öne çıkanlar
- Qwen3-32B modelindeki nöron kutuplarının yaklaşık yüzde 90'ı tek bir temel işleve odaklanıyor.
- Klasik kedi ve araba nöronunun aslında ortak bir V geometrisine tepki verdiği belirlendi.
- Ağların süperpozisyon yerine özyinelemeli genelleme adı verilen tek bir öğrenme ilkesiyle çalıştığı açıklandı.
Goodfire araştırmacısı Nick Cammarata, yapay sinir ağlarının iç mekanizmalarının harici ayrıştırma modellerine gerek kalmadan doğrudan anlaşılabileceğini açıkladı. Yayımlanan teknik değerlendirmede, literatürde çok anlamlılık (polysemanticity) ve süperpozisyon olarak adlandırılan kavramların geçmişte yanlış yorumlandığı belirtildi. Ağların ilgisiz kavramları rastgele bir araya toplamadığı, bunun yerine özyinelemeli genelleme adı verilen fraktal bir öğrenme örüntüsü sergilediği kaydedildi.
Araştırma kapsamında InceptionV1 mimarisindeki klasik örnekler ve modern büyük dil modelleri incelendi. Geçmişte hem kedi hem araba görsellerine tepki verdiği sanılan ünlü bir nöronun aslında V şekillerini tespit ettiği ortaya çıkarıldı. Qwen3-32B modelinde yapılan ön denetimlerde, nöron kutuplarının yaklaşık yüzde 90'ının tek bir temel görevi yerine getirdiği, yaklaşık yüzde 7'sinin ise iki ilişkili işle çalıştığı aktarıldı.
Modern modellerin büyüklüğünün mekanik yorumlanabilirliği zorlaştırmak yerine kolaylaştırdığı belirtildi. Ağ haritası genişledikçe komşu devrelerin birbirini doğruladığı ve seyrek oto-kodlayıcılar gibi ek yöntemlere duyulan ihtiyacın azaldığı ifade edildi. Cammarata, doğrudan sinir ağı mekanizmalarını inceleyen araştırmaların ölçeklendirilmesiyle yapay zeka modellerinin çok daha hızlı çözülebileceğini savundu.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.