Qwen3.5-4B için açık kaynaklı nöron keşif aracı yayımlandı
Öne çıkanlar
- Qwen3.5-4B modelinin katmanlarındaki tüm MLP nöronları yönlendirilerek üç boyutlu arayüzde görselleştirildi.
- Sistem, yerel donanımda çalışarak canlı metin yönlendirmesi ve aktivasyon filtrelemesi sunuyor.
- MCP destekli Claude ajanı, model üzerinde doğrudan nöron okuma, yönlendirme ve budama işlemleri yapabiliyor.
Geliştirici Lyra, Qwen3.5-4B dil modelindeki nöronların davranışlarını incelemeyi ve doğrudan müdahale etmeyi sağlayan Neuron Explorer adlı açık kaynaklı aracı GitHub üzerinden paylaştı. Çalışma, bir katmandaki her MLP nöronunu farklı komutlar üzerinde yukarı ve aşağı yönlendirerek tüm çıktıları kaydediyor. Elde edilen sonuçlar, modelin katmanlarını ve nöronlarını görselleştiren üç boyutlu bir arayüz üzerinden araştırmacıların erişimine sunuluyor.
Sistem; CUDA, MPS veya CPU donanımları üzerinde yerel olarak çalıştırılabiliyor ve kullanıcının girdiği metinler üzerinde canlı yönlendirmeli sohbet, aktivasyon lensi ve bağlantı analizleri gerçekleştiriyor. Harita görünümü katmanlardaki dikkat ve MLP birimlerini tekil nöron noktaları halinde listelerken, benzer projeksiyon sütunlarına sahip nöronları yan yana yerleştiriyor. Araç ayrıca rastgele kontrollere karşı kelime kümesi yoğunluğuna göre sıralanmış birim listeleri ve UMAP gömme görselleştirmeleri sunuyor.
Arayüze entegre edilen Claude sekmesi ise Model Bağlam Protokolü (MCP) sunucusu aracılığıyla çalışıyor. Bu entegrasyon sayesinde yapay zeka ajanı; nöronları okuyabiliyor, yönlendirme ve budama işlemlerini yürütebiliyor ve terminal üzerinde komut çalıştırabiliyor. Model tarama altyapısında vLLM kütüphanesinin özel bir çatallaması kullanılırken, yapılan taramaların istatistikleri ve bağlantı haritaları önbelleğe alınarak paylaşıldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.