Yapay sinir ağı budama teknikleri, eğitilmiş ağların parametre sayılarını %90'dan fazla azaltarak depolama gereksinimlerini düşürebilir ve çıkarım (inference) performansını doğruluktan ödün vermeden artırabilir. Ancak güncel deneyimler, budama ile elde edilen seyrek mimarilerin başlangıçtan itibaren eğitilmesinin zor olduğunu göstermektedir. Bu durum, eğitim performansını da olumsuz etkilemektedir.
Araştırmacılar, standart bir budama tekniğinin, başlangıçtaki ağırlıkları sayesinde etkili bir şekilde eğitilebilen alt ağları (subnetworks) doğal olarak ortaya çıkardığını keşfetti. Bu bulgulara dayanarak "Piyango Bileti Hipotezi"ni ortaya koydular: Yoğun, rastgele başlatılmış ileri beslemeli (feed-forward) yapay sinir ağları, izole bir şekilde eğitildiğinde orijinal ağa benzer sayıda iterasyonda karşılaştırılabilir test doğruluğuna ulaşabilen "kazanan biletler" (alt ağlar) içerir. Bulunan bu kazanan biletler, başlangıç ağırlıkları sayesinde eğitimi özellikle etkili kılan bir "başlangıç piyangosunu" kazanmışlardır.
Makale, kazanan biletleri tanımlamak için bir algoritma ve Piyango Bileti Hipotezi'ni destekleyen bir dizi deney sunmaktadır. MNIST ve CIFAR10 veri kümeleri için, tam bağlantılı ve evrişimli ileri beslemeli mimarilerin boyutunun %10-20'sinden daha azına sahip kazanan biletler tutarlı bir şekilde bulunmuştur. Bu boyutun üzerindeki kazanan biletler, orijinal ağdan daha hızlı öğrenmekte ve daha yüksek test doğruluğuna ulaşmaktadır. Bu çalışma, yapay sinir ağlarının verimli bir şekilde eğitilmesi ve dağıtılması için yeni yollar açmaktadır.
Bu hipotez, daha küçük ve daha verimli yapay sinir ağlarının eğitilmesinin, büyük ağları baştan sona eğitmek kadar etkili olabileceğini göstererek yapay zeka model geliştirme süreçlerini kökten değiştirebilir.