OPAL, eğitim sırasında optimizasyon kodunu yeniden yazıyor

Araştırmacılar, derin öğrenme modellerinin eğitim sırasında optimizasyon kurallarını değiştirebilen OPAL adlı reaktif bir optimizer geliştirdi. OPAL, eğitim dinamiklerini izleyen bir ajan kullanıyor ve her parametre grubu için ağırlık güncelleme kodunu çalışma sırasında yeniden yazıyor. Sistem, önceden ayarlanmış bir tarifin bulunmadığı görüntü ve dil görevlerinde, tek bir eğitim çalışmasıyla mevcut sabit tarifleri yakaladı veya geride bıraktı.

Çalışmada OPAL, 162 milyon parametreli bir GPT modelinin Çince, Tayca ve Kırgızca veri kümeleriyle eğitimi ile çeyrek batch boyutlu bir senaryoda test edildi. Goldfish projesindeki Amharca görevinde resmi tarifin 83,48 olan ölçümü OPAL ile 81,11’e indi; öğrenme oranı taramasıyla bulunan statik tarif 80,89’a ulaşırken OPAL bu tarifin üzerinden 80,73’e çıktı. Görüntü üretiminde de LightningDiT-XL/1 için FID-50K değeri rehberli ölçümde 2,18’den 1,83’e, rehberliksiz ölçümde 5,15’ten 4,33’e düştü.

OPAL, ham model ağırlıkları yerine gradyan normları, güncelleme büyüklükleri, ardışık gradyanların benzerliği ve ani gradyan artışları gibi göstergeleri incelemek için kendi analiz kodunu yazıyor. Ardından öğrenme oranlarını, momentum değerlerini, ağırlık çürümesini, zaman çizelgelerini ve AdamW ile Muon arasındaki dağılımı değiştiriyor. Ajan ayrıca kayıp artışlarını sınırlayan korumalar, deneme amaçlı oran değişimleri ve aşırı uyumdan çıkmaya yönelik stratejiler oluşturuyor. Araştırmacılar yöntemin hesaplama ve ölçekleme maliyetlerini de incelemeyi planlıyor.