Difüzyon modellerinde damıtma örnekleme adımlarını azaltıyor
Öne çıkanlar
- Öğretmen modelden öğrenen öğrenci ağlar, eğitim varyansını azaltarak çok daha hızlı yakınsıyor.
- İlerlemeli damıtma tekniği, her aşamada ardışık iki örnekleme adımını tek bir adıma indirgiyor.
- Deterministik örnekleyiciler ve v-tahmini hedefi, az adımlı çıkarımlarda hata birikimini önlüyor.
Difüzyon modelleri, karmaşık veri dağılımlarından örneklemeyi gürültü giderme adımlarına bölerek başarı sağladı. Ancak art arda yapılan onlarca tahmin adımı, üretim sürecini yavaşlatıyor ve yüksek hesaplama maliyeti yaratıyor. Yeni araştırmalar, model damıtma (distillation) tekniklerini kullanarak örnekleme adım sayısını radikal biçimde düşürmeye ve hatta tek adıma indirmeye odaklanıyor.
Damıtma sürecinde, önceden eğitilmiş bir öğretmen modelin çıktıları öğrenci modeli denetlemek için kullanılıyor. Standart eğitimde ağ tek bir veri noktasına doğru yönlendirilirken, damıtma yöntemi öğrenciye doğrudan beklenen değer hedefini sunuyor. Bu yaklaşım kayıp fonksiyonunun varyansını düşürerek eğitimin daha pürüzsüz ve hızlı ilerlemesine imkan tanıyor; ancak öğretmen modelin hataları öğrenciye önyargı olarak aktarılıyor.
İlerlemeli damıtma (progressive distillation) gibi yöntemler, ardışık adımları tek bir ileri beslemeye indirgeyerek adım sayısını her aşamada yarıya indiriyor. Bunun yanında v-tahmini (v-prediction) hedefi yüksek gürültü seviyelerindeki hata artışını engelliyor. Kılavuzsuz sınıflandırıcı damıtması ise adım başına gereken çift model değerlendirme maliyetini tek bir adıma düşürüyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.