Tencent açık kaynaklı dünya modeli Hy-Nomas'ı tanıttı
Öne çıkanlar
- Hy-Nomas, metin komutları ve kamera hareketleriyle yönlendirilen çok turlu etkileşimli video ortamları üretiyor.
- Damıtılmış çıkarım yapılandırması segment başına 8 gürültü giderme adımıyla 720p 24 FPS video çıktısı veriyor.
- Model, INT8 ağırlıklar ve CPU aktarımı sayesinde tek bir NVIDIA RTX 4090 ekran kartında çalışabiliyor.
- Tencent, etkileşimli kontrol performansını ölçmek için 280 test içeren Hy-Nomas-Bench paketini yayımladı.
Tencent, kullanıcıların metin komutları ve kamera hareketleriyle yönlendirebildiği açık kaynaklı video tabanlı dünya modeli Hy-Nomas'ı duyurdu. Model, çok turlu etkileşim desteği sayesinde video ortamlarını parçalar halinde üretiyor. Kullanıcılar her yeni parçada ortama yeni nesneler ekleyebiliyor, sahnenin görsel stilini değiştirebiliyor ve kamera açılarını belirleyebiliyor. Üretilen içerik 720x1280 çözünürlükte ve saniyede 24 kare hızında sunuluyor.
Sistemin temel mimarisinde 54 bloklu çok modlu difüzyon transformatörü (DiT), Qwen2.5-VL tabanlı metin kodlayıcı ve ince ayarlı PixelUMM video çözücü bulunuyor. Parçalar arasındaki görsel tutarlılık kalıcı anahtar/değer (KV) önbelleği ile korunuyor. Damıtılmış çıkarım yapılandırması segment başına yalnızca 8 gürültü giderme adımı kullanıyor. Şirket, standart sekiz GPU'luk dağıtık yapının yanı sıra tüketici sınıfı tek bir NVIDIA GeForce RTX 4090 grafik kartında çalışabilen düşük bellekli bir mod da geliştirdi.
Tencent ayrıca modelin etkileşimli kontrol edilebilirliğini ve uzamsal tutarlılığını ölçmek amacıyla Hy-Nomas-Bench adında 280 test senaryosu içeren bir kıyaslama paketi yayımladı. Standart yapılandırmanın yanı sıra robotik simülasyonları geliştiren harici LoRA adaptörleri de paylaşıldı. Kodları ve ağırlıkları genel kullanıma sunulan model, Apache 2.0 lisansı altında topluluk erişimine açık tutuluyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.