Araştırmacılar Platonik Temsil Hipotezini JEPA modelleriyle kanıtladı
Öne çıkanlar
- İyi bakış açıları kullanan JEPA mimarisi, aynı hizalama seviyesine 42 kat daha az eğitim verisiyle ulaştı.
- 109 milyon parametreli metin JEPA modeli, 72 milyar parametreli dil modellerinden daha iyi görsel hizalama sağladı.
- Ayrı eğitilen kodlayıcılar tek bir rotasyon dönüşümüyle COCO testinde 0,838 CIDEr puanı alan bir altyazı modeline dönüştü.
Yapay zeka modellerinin farklı veri türlerinde eğitildiklerinde dünyanın aynı ortak temsiline ulaşıp ulaşmadığı sorusu matematiksel bir temele kavuştu. Yayımlanan yeni çalışmada araştırmacılar, Platonik Temsil Hipotezi'ni bir teorem olarak ispatladı. Ortak Gömme Tahmin Mimarileri (JEPA) ile eğitilen modellerin, tek bir sahneye ait iki farklı gözlem olan iyi bakış açıları kullanıldığında, sadece bir rotasyon farkıyla tamamen aynı temsili öğrendiği gösterildi.
Çalışma, geleneksel sonraki belirteç tahmin yönteminin tek bir belgenin parçalarını kullanan zayıf bir JEPA biçimi olduğunu ortaya koydu. Bu durum, büyük dil modellerinin görsel temsillerle ancak parametre ölçeği çok büyüdüğünde uyum sağlayabilmesini açıklıyor. 145 bin başlıktan 940 milyon internet görseli metnine kadar uzanan verilerle yapılan deneyler, temsili uyumun matematiksel bir ölçeklenme yasasına uyduğunu doğruladı.
Elde edilen sonuçlara göre doğru bakış açıları kullanan JEPA mimarisi, aynı uyum seviyesine sonraki belirteç tahminine kıyasla 42 kat daha az veriyle ulaştı. Yalnızca 109 milyon parametreli bir metin JEPA modeli, 72 milyar parametreye kadar olan büyük dil modellerini ve CLIP metin kodlayıcısını geride bırakarak DINOv2 ve CLIP görsel kodlayıcılarıyla daha güçlü bir uyum sergiledi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.