Yapay zeka modellerindeki yaygın kayıp fonksiyonu hatalarına çözüm geliştirildi

Araştırmacılar, PyTorch, JAX ve TensorFlow gibi derin öğrenme kütüphanelerinde yaygın olarak kullanılan softmax, log-softmax ve çapraz entropi fonksiyonlarında iki sayısal kararsızlık hatası tespit etti. Softmax Çökmesi ve Softmax İptali adı verilen bu hatalar, modelin hedef sınıf tahmininde yüksek güvene ulaştığı veya bilgi damıtma sürecinde öğretmen ve öğrenci çıktılarının birbirine çok yaklaştığı durumlarda kayan nokta yuvarlama sorunlarına yol açıyor. Standart uygulamalar, değerlerin üst sınırları aşmasını engellemek için maksimum girdiyi çıkarsa da bu yaklaşım gradyanların toplamının sıfır olması kuralını ihlal ediyor.

İlk sorun olan Softmax Çökmesi, hedef logit değerinin diğer logitlerden çok büyük olduğu durumlarda paydadaki değerin doğrudan bire yuvarlanmasıyla ortaya çıkıyor. Bu durum hedef gradyanı sıfırlarken hedef dışı gradyanların pozitif kalmasına sebep oluyor ve gradyan toplamını bozuyor. İkinci sorun olan Softmax İptali ise özellikle model damıtma işlemlerinde birbirine çok yakın olasılıkların birbirinden çıkarılması sırasında sayısal hassasiyetin kaybolmasına ve girdiler eşit olsa dahi sıfırdan farklı yapay gradyanların oluşmasına yol açıyor.

Geliştirilen yeni yöntem, log-sum-exp işlemlerini softplus ve expm1 fonksiyonlarıyla logaritma uzayında yeniden formüle ederek paydalara doğrudan bir eklenmesini engelliyor. Bu matematiksel düzeltme, optimizasyon süreçlerinde Adam ve AdamW algoritmalarıyla gözlemlenen ani kayıp artışlarını ve doğruluk çökmelerini ortadan kaldırdı. Yeni yaklaşımla birlikte modellerin ezberleme sonrası logit artışları istikrarlı hale geldi ve damıtma süreçlerindeki kaymalar engellendi.