GENREG (Genetic Regulatory Networks), geleneksel gradyan inişi yöntemleri yerine popülasyon tabanlı evrimsel seçilim kullanarak sinir ağlarını optimize eden yenilikçi bir öğrenme sistemidir. Bu yaklaşım, sinir ağlarını eğitmek için geri yayılım veya gradyan hesaplamalarına ihtiyaç duymaz. Ağlar, görev performanslarına göre "güven" biriktirir ve yüksek güvene sahip genomlar, mutasyonlarla bir sonraki nesli oluşturmak üzere çoğalır. Bu sayede, evrimsel baskı optimizasyonu yönlendirir ve ağların ağırlık uzayında farklı bir şekilde arama yapmasını sağlar.
GENREG, görsel tanıma görevlerindeki yeteneklerini MNIST ve özel bir alfabe tanıma veri kümesi üzerinde başarıyla göstermiştir. MNIST veri kümesinde (50.890 parametreli bir mimariyle), yaklaşık 40 dakikada 600 nesil eğitimle %81,47 test doğruluğuna ulaşmıştır. Alfabe tanıma görevinde ise, yaklaşık 1.800 nesilde %100 doğruluk elde ederek tüm harfleri başarıyla öğrenmiştir. Bu sonuçlar, gradyan tabanlı yöntemlere alternatif olarak evrimsel yaklaşımların potansiyelini ortaya koymaktadır.
Geleneksel eğitim yöntemlerinden farklı olarak GENREG, kayıp fonksiyonu türevleri, geri yayılım, öğrenme oranı veya gradyan kırpma gibi kavramları kullanmaz. Bunun yerine, bir sinir ağı popülasyonunu yönetir ve en iyi performans gösterenlerin ağırlıklarını mutasyonlarla sonraki nesillere aktarır. MNIST eğitiminde %65'te plato çizdikten sonra, sınıf başına örnek sayısının 1'den 20'ye çıkarılmasıyla önemli bir gelişme kaydedilmiştir. Bu durum, evrimsel öğrenmenin istikrarlı ve tutarlı uygunluk sinyallerine ihtiyaç duyduğunu, yüksek varyanslı verilerle çalışırken birden fazla örnek üzerinde performansın ortalamasının alınmasının kritik olduğunu göstermiştir. Ayrıca, çocuk mutasyonunun mevcut popülasyonun mutasyonundan çok daha önemli olduğu belirtilmiştir.
Geleneksel gradyan tabanlı yöntemlere alternatif olarak evrimsel seçilimle sinir ağı eğitimi, daha az karmaşık bir optimizasyon süreci sunarak yüksek doğruluk oranlarına ulaşabileceğini kanıtlıyor.