LAION 10 milyon saatlik açık video veri setini yayımladı
Öne çıkanlar
- LAION-BVD, CommonCrawl’dan toplanan 1,3 milyar video URL’si içeriyor.
- Veri setinde 80 milyon indirilen videonun toplam süresi 10 milyon saate ulaşıyor.
- ViCLIP modelleri, bazı video ve metin testlerinde InternVid’i yüzde 2,1’e kadar geçti.
- LAION-BVD yalnızca bilimsel araştırma için yayımlandı ve ticari kullanıma kapatıldı.
LAION, çok modlu yapay zeka araştırmaları için 1,3 milyar platforma özgü video URL’si içeren LAION-BVD veri setini yayımladı. CommonCrawl’dan toplanan bağlantılardan 80 milyon video indirildi ve işlendi. Bu videoların toplam süresi 10 milyon saate ulaşıyor. Veri seti, video, ses ve görüntü modellerinin ön eğitiminde kullanılmak üzere araştırma topluluğuna açıldı.
LAION-BVD kapsamında içerik duyarlı sahne algılama yöntemiyle videolardan klipler çıkarıldı ve bu klipler için yapay olarak video ile ses açıklamaları üretildi. Ayrıca sahne değişimlerinden alınan video kareleri, görüntü ve metin eğitimi için hazırlandı. LAION, bu karelerin standart web görseli veri kümelerinden farklı bir görsel dağılıma sahip olduğunu belirtti.
Veri setiyle eğitilen ViCLIP modelleri, standart video ve metin kıyaslamalarında InternVid ile eğitilen modelleri bazı testlerde yüzde 2,1’e kadar geçti. Başarı, eğitim ölçeği 10 milyon klipten 50 milyon klibe yükseldikçe düzenli biçimde arttı. LAION-BVD ile eğitilen CLAP modelleri, video içinden çıkarılan gerçek dünya seslerini kullanarak büyük ve düzenlenmemiş ses veri kümeleriyle rekabet eden sonuçlar verdi. Kare tabanlı CLIP modelleri de görüntü ve metin arama testlerinde güçlü performans gösterdi. LAION, veri setini yalnızca araştırma amacıyla yayımladı; ticari kullanıma izin vermedi. Kurum, içerik üreticilerinin telif haklarına uyulmasını ve veri setindeki olası önyargıların değerlendirilmesini istedi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.