Ricerca
WaveGen: generazione di forme d’onda realmente end-to-end tramite apprendimento della traiettoria spettrale interna
Questo lavoro propone WaveGen, un framework di diffusione end-to-end da testo a forma d’onda basato su Spectral Forcing, che impara congiuntamente, all’interno di un unico modello, una traiettoria…

- arXiv
- 2611.12527
- Pubblicato
- 2026-11-09
- Autori
- Sang-Hoon Lee, Ha-Yeong Choi
Abstract degli autori
Questo lavoro propone WaveGen, un framework di diffusione end-to-end da testo a forma d’onda basato su Spectral Forcing, che impara congiuntamente, all’interno di un unico modello, una traiettoria spettrale interna e la traiettoria della forma d’onda obiettivo, consentendo la generazione diretta end-to-end da testo a forma d’onda. A differenza delle pipeline TTS più recenti, WaveGen non si basa su rappresentazioni intermedie addestrate separatamente o decodificate esternamente, come codec audio neurali, vocoder basati su spettrogrammi Mel o modelli latenti basati su VAE. Inoltre, WaveGen esegue l’allineamento interno tra testo e parlato all’interno di un unico modello, eliminando la necessità di moduli di allineamento esterni, come i predittori di durata. Per mantenere una formulazione realmente end-to-end, il nostro framework evita anche di dipendere da rappresentazioni auto-supervisionate, come gli embedding testuali basati su BERT e le rappresentazioni semantiche basate su Wav2Vec 2.0, nonché da metodi di distillazione semantica per l’ottimizzazione dell’addestramento. A questo scopo, progettiamo con cura Spectral Forcing, un’architettura di modello con teste di diffusione disaccoppiate e un obiettivo di addestramento basato su una $v$-loss spettrale multiscala. Verifichiamo inoltre la scalabilità dei modelli TTS end-to-end aumentando le dimensioni del modello da 0,1B a 0,6B di parametri. Con un’unica architettura, dati open source e un addestramento in un’unica fase, senza moduli esterni come un predittore di durata o REPA, WaveGen dimostra la generazione di forme d’onda interamente end-to-end, raggiungendo prestazioni all’avanguardia sul dataset di addestramento Emilia. In particolare, WaveGen ottiene un WER di 1,47 e un SIM di 0,75 sul benchmark Seed-en. Il codice sorgente e i checkpoint sono disponibili all’indirizzo https://github.com/sh-lee-prml/WaveGen
Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.
Leggi il paper originale su arXiv