The Pulse
Gradium afferma che il suo Phonon TTS sul dispositivo è primo per intelligibilità in tedesco e spagnolo nella classifica Open TTS Leaderboard di Hugging Face
Gradium afferma che il suo Phonon TTS funziona sul dispositivo senza server né rete ed è disponibile in due modelli che coprono cinque lingue. Secondo Gradium, la Open TTS Leaderboard di Hugging Face colloca Phonon al primo posto per intell
AI.info Team · Scritto con l’IA · verificato ·
Phonon TTS di Gradium affronta un compromesso che i suoi creatori descrivono direttamente: i modelli vocali più piccoli possono avere una qualità sonora peggiore, mentre quelli con una buona qualità sonora potrebbero non essere adatti a un dispositivo di piccole dimensioni. Gradium afferma che Phonon funziona sul dispositivo dell’utente senza server né rete e che ha affrontato entrambi i vincoli.
Due modelli, cinque lingue
Phonon è disponibile in due dimensioni, circa 65 MB e 75 MB, e insieme i modelli supportano inglese, francese, tedesco, spagnolo e portoghese. Gradium afferma che offrono più di 100 voci integrate e che gli utenti possono creare voci tramite Gradium Studio. Secondo Gradium, Phonon gestisce dettagli come numeri di telefono, date e codici, su cui, stando al post, la maggior parte degli altri sistemi di sintesi vocale spesso incontra difficoltà.
Gradium afferma che Phonon funziona su telefoni, laptop, computer a scheda singola e in una scheda del browser. Il modello Phonon 31m, disponibile solo in inglese, usa la licenza Apache 2.0, che ne consente l’uso commerciale; Phonon 40m copre tutte e cinque le lingue con una licenza non commerciale. Secondo il post, il prezzo per l’uso commerciale degli altri modelli si basa sul numero di utenti, non sulla quantità di parlato generato.
Gradium afferma di aver annunciato Phonon ad aprile e di aver trascorso i sei mesi successivi a svilupparlo insieme a partner e primi utenti. I loro riscontri hanno contribuito a definire la versione rilasciata: i modelli sono diventati più piccoli e sono state aggiunte lingue e il supporto per voci personalizzate tramite clonazione e progettazione delle voci. Il modello segue la linea di Pocket TTS e usa il flow matching per generare audio, una scelta che secondo il post ha permesso a Gradium di portare questo livello di qualità in un modello di piccole dimensioni.
Risultati nella classifica: Phonon 31m en raggiunge i 28 ms al 95° percentile per il tempo al primo audio nel benchmark di streaming su CPU
La Open TTS Leaderboard di Hugging Face confronta modelli aperti in 23 lingue, misurando intelligibilità, velocità e naturalezza. Le misure di intelligibilità includono il tasso di errore sulle parole; quelle di velocità comprendono l’inverso del fattore di tempo reale e il tempo al primo audio. Per la naturalezza, la classifica usa UTMOS per l’inglese e KOMOS per il coreano e valuta sia le voci predefinite sia la clonazione vocale.
Gradium afferma che Phonon è primo per intelligibilità in tedesco e spagnolo e tra i primi tre in ogni lingua valutata dal team, accanto a modelli fino a 100 volte più grandi. Nel benchmark di streaming su CPU, Phonon 31m English ha un tempo al primo audio di 28 ms al 95° percentile, mentre Phonon 40m English registra 38 ms; Pocket TTS registra 165 ms.
Più di 10 backend di inferenza
Gradium ha sviluppato ptts, un framework di inferenza per Phonon, per ottenere le migliori prestazioni su un’ampia varietà di dispositivi. Gradium afferma che supporta più di 10 backend, tra cui Intel, Arm e WebAssembly su CPU; CUDA, Vulkan, Metal e WebGPU su GPU; e Apple Core ML e Snapdragon su NPU. Phonon è disponibile anche in Transformers dalla versione 5.21 come implementazione PyTorch di riferimento.
ptts esegue un singolo flusso su un dispositivo, mentre Transformers punta al throughput su GPU tramite la generazione in batch e torch.compile sull’intero grafo. Essendo nativa PyTorch, l’implementazione in Transformers costituisce una base per integrare o studiare il modello. Il suo codice si basa su Pocket TTS, con circa 200 righe che descrivono solo ciò che cambia in Phonon.
Dimostrazioni offline, da un orologio a un browser
Le dimostrazioni di lancio includono un Apple Watch che guida vocalmente nella preparazione di un caffè con il Wi-Fi disattivato e un iPhone che conta le ripetizioni senza segnale. Un’altra dimostrazione trasforma un gioco di corsa con un dinosauro offline nel browser in un programma radiofonico condotto da Rex. Il post descrive anche un gioco di fantascienza doppiato sul computer del giocatore e Proust letto ad alta voce pagina per pagina.
Il team di Hugging Face ha sviluppato l’integrazione con Transformers, mentre alcuni sviluppatori hanno realizzato una conversione ExecuTorch per eseguire Phonon sulla GPU di un visitatore nel browser e il supporto Micdrop per le app Node.js. Secondo il post, Phonon è stato scaricato più di 200.000 volte nelle sue prime due settimane. Gradium afferma inoltre di addestrare modelli Phonon personalizzati con partner di progettazione e di poterli addestrare per altre lingue o sottoporli a fine-tuning sul vocabolario specifico di un prodotto.