Fish Audio açık ağırlıklı ses modeli Drama 3'ü tanıttı
Öne çıkanlar
- Drama 3, 35 milyar toplam parametreye ve belirteç başına 3 milyar aktif parametreye sahip MoE yapısıyla çalışıyor.
- Model, özel etiketler sayesinde tek bir metin girdisinde 16 farklı konuşmacıyı aynı anda destekliyor.
- NVIDIA H200 üzerinde yapılan testlerde tekil akışta ilk ses çıktısı süresi 88,9 milisaniye olarak kaydedildi.
Fish Audio, çok karakterli sahneler ve uzun soluklu içerikler için tasarladığı yeni nesil metinden sese dönüştürme modeli Drama 3'ü yayımladı. Model; çoklu konuşmacı üretimi, ses klonlama ve doğal dil komutlarıyla yönlendirme yeteneklerini bir arada sunuyor. Açık ağırlıklı olarak dağıtılan sistem, tek bir metin bloğu içinde 16 farklı karaktere kadar seslendirme desteği sağlıyor.
Mimari yapıda toplam 35 milyar parametre yer alırken, uzmanların karışımı (MoE) yaklaşımı sayesinde her belirteç başına yalnızca 3 milyar parametre aktif olarak çalışıyor. Modelin metin omurgasında tam ve doğrusal dikkati birleştiren hibrit bir yöntem tercih edildi; uzman katmanlarında ise FP8 veri tipi kullanıldı. Ses kod çözücü tarafında bütün dizi üzerinde nedensel olarak çözülen 10 kod defterli Codebook-MTP yapısı bulunuyor.
SGLang-Omni altyapısıyla doğrudan uyumlu çalışan model, NVIDIA H200 üzerinde gerçekleştirilen üretim testlerinde yüksek eşzamanlılık başarımı sergiledi. Tekil akışlarda ilk ses çıktısına ulaşma süresi 88,9 milisaniye seviyesinde ölçüldü. Ses sentezleyici katmanının ikinci bir grafik işlem birimine taşınması durumunda, 256 eşzamanlı akışta veri aktarım hızının yüzde 72 oranında arttığı ve gecikmenin belirgin biçimde düştüğü aktarıldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.