Geliştiriciler bir saatlik sesi 13 saniyede metne dönüştürdü

Google'ın çok modlu gömme modeli EmbeddingGemma 2 kullanılarak geliştirilen Embedding Gemma Transcribe, temel model M3 MacBook Air üzerinde bir saatlik ses kaydını yaklaşık 13 saniyede metne dönüştürdü. Tamamen cihaz üzerinde çalışan sistem, ilk açılışta 715 megabayt boyutundaki modelleri indirerek yerel donanım üzerinde işlem yapıyor ve kullanıcının ses verisini harici bir sunucuya göndermeden işliyor.

Sistem, EmbeddingGemma 2 modelinin ses ve metni aynı uzayda eşleştiren mimarisinden yararlanıyor. Temel ses kodlayıcı değiştirilmeden bırakılırken, yalnızca kısa ses dilimlerini metin uzayına aktaran küçük bir okuyucu modül eğitildi. Yaklaşık 229 bin İngilizce sözcük arasından en yakın eşleşmeyi seçen yapı, açık lisanslı İngilizce ses verileriyle 8 adet H100 donanımında iki saatten kısa bir sürede eğitildi ve noktalama işaretlerini eklemek için ayrı bir küçük model kullandı.

Apple'ın Neural Engine biriminde çalışan model, 8 GB RAM'e sahip M3 MacBook Air üzerinde gerçek zamanın 288 katı hıza ulaştı. Yapılan testlerde sistemin kelime hata oranı yüzde 5 seviyesinde ölçüldü; bu oran önde gelen ses modellerinde yüzde 2 ile 3 arasında seyrediyor. Geliştiriciler, daha iyi eğitilmiş yeni bir okuyucu modülle bu farkı kapatmayı hedeflediklerini açıkladı.