Araştırmacılar üstel ortalamalardaki varyans patlamasını en küçük karelerle çözdü

Makine öğreniminde olasılıksal modellerin normalleştirilmesi, takviyeli öğrenme ve transformatör mimarilerinde yaygın olarak kullanılan "log-sum-exp" tipi fonksiyonların tahmini, üstel büyüme gösteren varyans nedeniyle büyük hesaplama güçlükleri yaratıyor. Olasılık dağılımlarından örneklem alındığında, potansiyel fonksiyonun yüksek değerler alması tahmin varyansının katlanarak patlamasına yol açıyor. Bu durum özellikle Kullback-Leibler ıraksaması ve bağıl yoğunluk tahmini gibi temel problemlerde varyasyonel yöntemlerin sayısal kararlılığını doğrudan düşürüyor.

Araştırmacı Francis Bach, bu istatistiksel engeli aşmak amacıyla en küçük kareler regresyonuna dayalı spektral bir yaklaşım geliştirdi. Önerilen yöntem, f-ıraksamalarının integral temsillerinden yararlanarak karmaşık logaritmik optimizasyon süreçlerini ağırlıklı ki-kare ıraksamalarının sürekliliğine dönüştürüyor. Geliştirilen integral denkliği sayesinde tahmin problemi, genelleştirilmiş özdeğer ayrışımı kullanılarak kapalı formda ve tek seferde çözülebilen bir en küçük kareler bütününe indirgeniyor.

Yöntemin başarımı yüksek boyutlu Gauss modelleri ve simülasyonlar üzerinde test edildi. Geleneksel varyasyonel tahmin ediciler gözlem sayısının kısıtlı olduğu senaryolarda yüksek varyans nedeniyle kararsız kalırken, spektral tahmin yönteminin varyansı kontrol altında tuttuğu ve daha güvenilir sonuçlar sağladığı bildirildi. Geliştirilen yaklaşım, özellik öğrenme teknikleriyle birleştirildiğinde büyük veri kümelerinde hesaplama karmaşıklığını da makul seviyelere çekiyor.