RubatoCodec: tokenizzazione adattiva del parlato con un budget prefissato e decodifica in streaming

Abstract degli autori

I codec neurali per il parlato forniscono token discreti per la generazione del parlato. Ridurre la frequenza dei frame accorcia le sequenze di token, ma ogni token deve così contenere più informazioni linguistiche e acustiche. I codec a frequenza di frame variabile affrontano questo compromesso adattando l’allocazione dei token al contenuto del parlato. Quando però l’allocazione si basa su soglie, è il contenuto a determinare il numero di token: a parità di impostazioni, la lunghezza della sequenza che un generatore di parlato deve produrre varia quindi tra enunciati e dataset. Presentiamo RubatoCodec, un codec per il parlato a frequenza di frame variabile basato su X-Codec-2, con un numero esatto di eventi per enunciato e decodifica in streaming. Il suo meccanismo Adaptive Firing sfrutta le variazioni nelle caratteristiche del codec e negli spettri della forma d’onda per suddividere il parlato in eventi di durata variabile, senza un predittore dei confini addestrato. Ogni evento è rappresentato da codici discreti e da una durata esplicita, così che un generatore di parlato possa prevedere e decodificare un evento alla volta. Esperimenti controllati mostrano che, a basse frequenze di eventi, l’allocazione adattiva supera la codifica a frequenza fissa per fedeltà della ricostruzione e intelligibilità. Un modello addestrato su grandi quantità di parlato multilingue raggiunge una qualità di ricostruzione competitiva in inglese, giapponese e cinese mandarino. A bitrate comparabili, è inoltre quello che preserva meglio l’intelligibilità tra i codec confrontati nei benchmark valutati per l’inglese e il giapponese. In un confronto di sintesi vocale da testo a parità di condizioni, la rappresentazione adattiva produce un WER più basso e valori UTMOS e UTMOSv2 più alti, con una somiglianza della voce comparabile. Il generatore di parlato apprende anche il numero di eventi per enunciato previsto dal codec senza un vincolo esplicito sul tasso in fase di generazione. Questi risultati dimostrano che le rappresentazioni adattive del parlato con un budget prefissato consentono sia una ricostruzione di alta qualità sia la generazione di parlato da testo in streaming. Il codice e i pesi sono disponibili su https://github.com/third-intelligence/RubatoCodec e https://huggingface.co/third-intelligence/RubatoCodec.