Nvidia açık kaynaklı Nemotron 3.5 Transcribe modelini yayımladı
Öne çıkanlar
- Nemotron 3.5 Transcribe, 40 dilde transkripsiyon ve 13 dilde sekiz konuşmacıya kadar ayrım desteği sunuyor.
- Model, 30 milyar toplam parametresine karşın çıkarım esnasında yaklaşık 4 milyar aktif parametre çalıştırıyor.
- Nvidia RTX PRO 6000 GPU üzerinde 100 saatlik ses kaydı üç dakikadan kısa sürede işlenebiliyor.
- Granary v2 veri hattı, 48 dilde 463 bin saati aşkın ses verisini ve transkripsiyon hedeflerini içeriyor.
Nvidia, 40 dilde transkripsiyon yapabilen açık ağırlıklı Nemotron 3.5 Transcribe modelini ve Granary v2 veri hazırlama hattını kullanıma sundu. Hugging Face ve ModelScope üzerinden yayımlanan model, transkripsiyonun yanı sıra 31 dilde çeviri, 13 dilde konuşmacı ayrımı ve ses tabanlı soru-cevap görevlerini tek bir çatı altında topluyor. Sistem bir saate kadar olan ses kayıtlarını işleyebiliyor ve sekiz konuşmacıya kadar kimlik ataması yapabiliyor.
Hugging Face Open ASR liderlik tablosunda İngilizce kategorisinde açık modeller arasında yüzde 5,33 kelime hata oranıyla ilk sıraya yerleşen model, çok dilli listede ise yüzde 4,62 oranına ulaştı. Toplam 30 milyar parametreye sahip olan sistem, Mamba ve Transformer tabanlı uzmanlar karması mimarisi sayesinde çıkarım sırasında sadece yaklaşık 4 milyar parametre çalıştırıyor. Tek bir Nvidia GPU üzerinde çalışabilen yapı, David AI konuşmacı ayrımı kıyaslamasında 21 dilde yüzde 18,26 hata oranıyla öne çıktı.
Şirket, modelle birlikte açık kaynaklı Granary v2 veri hattını ve NeMo ince ayar araçlarını da araştırmacıların erişimine açtı. Granary v2 veri seti, 48 dilde 463 bin saatlik ses kaydını ve farklı transkripsiyon biçimlerini kapsıyor. Yapılan sağlık sektörü vaka çalışmasında, sentetik veriler ve alan içi kayıtlarla yapılan ince ayarın ardından kelime hata oranı yüzde 45,8 oranında azalarak yüzde 12,17 seviyesine geriledi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.