Geri yayılıma alternatif PC-ALM yöntemi geliştirildi

Sakana AI araştırmacıları, yapay sinir ağlarını klasik geri yayılım algoritmasına ihtiyaç duymadan eğitebilen PC-ALM adlı yeni bir yöntemi duyurdu. Geliştirilen yaklaşım, geleneksel derin öğrenmenin dayandığı ileri ve geri geçiş sıralamasını ortadan kaldırıyor. Her katmana yerleştirilen yerel dinamik sistemler sayesinde, 1000 katmana kadar çıkan artık çok katmanlı algılayıcı modelleri başarıyla eğitildi ve klasik geri yayılıma yakın bir başarım elde edildi.

Beynin biyolojik yapısında geri yayılımın gerektirdiği katı faz kilitleme mekanizması bulunmadığından, sinirbilim ve yapay zeka alanında uzun süredir yerel öğrenme alternatifleri araştırılıyor. Klasik öngörülü kodlama yaklaşımları sığ ve geniş ağlarda etkili olurken, derin ve dar ağlarda hata sinyalinin sönümlenmesi sorunuyla karşılaşıyordu. PC-ALM, Lagrange çarpanlarını katman bazında ikili nöronlar olarak sürece dahil edip artırılmış Lagrange yöntemini yerel hata denetimiyle birleştirerek bu iletim darboğazını çözüme kavuşturdu.

Yapılan deneylerde PC-ALM, Fashion-MNIST, CIFAR-10 ve Tiny ImageNet üzerinde ResNet-18 ve artık MLP mimarilerinde standart öngörülü kodlamayı geride bıraktı. Sistemin yerel hata sinyallerini öngörülü kodlamanın yayılımcı iletimine kıyasla balistik bir dalga cephesi biçiminde daha hızlı ilettiği gözlemlendi. Araştırmacılar, bu dinamik yaklaşımın gelecekte nöromorfik donanımlar üzerinde enerji verimli derin öğrenme sistemleri tasarlamak için önemli bir temel oluşturabileceğini kaydetti.