Linum VAE kullanmayan Pyramid-JiT mimarisini duyurdu
Öne çıkanlar
- Pyramid-JiT, önceki sürüme kıyasla 11,3 kat daha az eğitim örneğiyle aynı kalite puanına ulaştı.
- Dört kat piksel artışına rağmen GPU saati bazında eğitim maliyeti 4,3 kat azaldı.
- Ağ gövdesi boyunca 128, 256 ve 512 piksel boyutlarında üç farklı çıkış başlığı kullanıldı.
- Kodlar ve model ağırlıkları Apache 2.0 lisansı ile kamuya açıldı.
Linum ekibi, metinden görüntü üreten modellerde VAE bileşenini ortadan kaldıran Pyramid-JiT adlı yeni mimarisini tanıttı. Piksel uzayında çalışan bu yalnızca kod çözücü (decoder-only) yapı, DiT gövdesi boyunca hedef görüntüyü farklı çözünürlüklerde tahmin ederek görsel üretim maliyetini düşürmeyi amaçlıyor. Geliştiriciler, video üretimindeki yüksek dikkat hesaplama yükünü azaltmak amacıyla metin-görüntü modellerini test alanı olarak kullandı.
Pyramid-JiT modeli, şirketin önceki Linum v2 sürümünün FD-DINOv2 kalite skoruna 11,3 kat daha az eğitim örneğiyle ulaştı. Dört kat daha fazla piksel işlemesine rağmen eğitim süreci 4,3 kat daha az GPU saati gerektirdi. Araştırmacılar, 512x512 piksel girişleri 32x32 boyutunda yamalara bölerek bağlam penceresini daralttı ve ağ boyunca 128, 256 ve 512 çözünürlüklerinde üç ayrı çıkış başlığı kullandı.
Modelin kodları ve ağırlıkları topluluğun incelemesine olanak tanımak amacıyla Apache 2.0 lisansı altında açık kaynak olarak paylaşıldı. Ekip, dağılım metriklerinde ve görsel detaylarda önceki modellere kıyasla belirgin kazanımlar elde etse de nesne sayma ve renk gibi bazı istem takip kriterlerinde Linum v2'nin gerisinde kaldı. Linum, modeli tam yakınsamaya kadar eğittikten sonra Linum v3 video modeli üzerinde çalışmayı planlıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.