Geri yayılım algoritmasının geriye doğru çalışma nedeni açıklandı
Öne çıkanlar
- İleri yönlü gradyan hesaplaması aynı terimleri defalarca ilettiği için karesel karmaşıklık yaratıyor.
- Geriye doğru geçiş, alt düğümlerdeki türevlerin tek seferde geriye aktarılmasını sağlıyor.
- Geri yayılım algoritması türev hesaplama sürecini düğüm sayısına göre doğrusal zamanda tamamlıyor.
Yapay sinir ağlarını eğitmek için kullanılan geri yayılım algoritmasının türevleri neden geriye doğru bir geçişle hesapladığı matematiksel temellerle incelendi. Sinir ağları bileşke fonksiyonlar olduğu için zincir kuralı ileri yönde de uygulanabiliyor. Ancak ileri yönlü bir yaklaşım, hesaplama grafiğindeki bağımlılıklar nedeniyle aynı ara terimlerin tekrar tekrar hesaplanmasını gerektiriyor.
İleri yönlü türev alma yaklaşımında, bir katmandaki farklı ağırlıkların gradyanlarını bulurken sonraki katmanlara ait türevler her ağırlık için baştan iletiliyor. Bu durum aynı mesajların ağ boyunca defalarca yinelenmesine yol açıyor ve hesaplama karmaşıklığını düğüm sayısına göre karesel düzeye çıkarıyor. Çok değişkenli zincir kuralı gereğince alt düğümlere ait türevler, o düğümlere ulaşılmadan yerel olarak hesaplanamıyor.
Geriye doğru geçiş uygulandığında ise çıktı katmanından elde edilen türev bilgileri geriye tek seferde aktarılıyor ve her düğüm yalnızca kendi yerel türeviyle çarpım yapıyor. Bu ters yönlü bilgi akışı, gereksiz tekrarları ortadan kaldırarak gradyan hesaplama sürecini düğüm sayısına bağlı olarak doğrusal zaman karmaşıklığına indiriyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.