Modern video üretiminde difüzyon transformer modelleri kilit rol oynar, ancak piksel uzayında hesaplamalar dikkat mekanizmasının karesel ölçeklenmesi nedeniyle çok maliyetlidir. Bu sorunu çözmek için Variational Autoencoder'lar (VAE) devreye girer; görüntü ve videoları daha küçük, sürekli bir latent uzaya sıkıştırarak difüzyon modellerinin daha verimli çalışmasını sağlar. Linum.ai, dört aylık yoğun bir çalışmanın ardından kendi Görüntü-Video VAE'sini açık kaynak olarak yayınladı ve bu süreçteki deneyimlerini, karşılaştıkları zorlukları ve önemli bulgularını paylaştı.
Şirket, Temmuz'dan Kasım 2024'e kadar kendi VAE'lerini eğitmek için çaba harcadı. Bu süreçte NaNs, gizemli lekeler ve ortak eğitim istikrarsızlığı gibi birçok sorunla karşılaştılar. Başlangıçta daha iyi yeniden yapılandırma kalitesinin (reconstruction quality) ana hedef olduğunu düşünseler de, deneyler sonucunda bunun sanıldığı kadar kritik olmadığını keşfettiler. Asıl önemli olanın, VAE'nin istikrarı ve sonraki üretim kalitesi (downstream generation quality) olduğu ortaya çıktı. Linum, en son metinden videoya modelinde Wan 2.1'in VAE'sini kullanmış olsa da, latent difüzyon modelleri için VAE'lerin önemini vurguluyor ve 2026'da yeni bir VAE üzerinde çalışmayı planlıyor.
Bu çalışma, VAE'lerin sadece veri sıkıştırma aracı olmanın ötesinde, difüzyon modellerinin verimli ve kaliteli çıktı üretmesinde kritik bir ara katman olduğunu gösteriyor. Linum'un açık kaynak projesi ve detaylı deneyim paylaşımları, yapay zeka topluluğuna VAE geliştirme süreçleri ve karşılaşılabilecek zorluklar hakkında değerli bilgiler sunuyor. Özellikle, yeniden yapılandırma kalitesi ile nihai üretim kalitesi arasındaki ilişkinin her zaman doğrusal olmadığını anlamak, gelecekteki VAE tasarımları için önemli bir yol gösterici niteliğindedir.
Linum'un VAE deneyleri, daha iyi veri sıkıştırmasının her zaman daha iyi model istikrarı veya üretim kalitesi anlamına gelmediğini ortaya koyarak yapay zeka model geliştirme yaklaşımlarını yeniden şekillendiriyor.