StyleStream 2.0: conversione dello stile vocale in streaming, rapida e controllabile

Abstract degli autori

La conversione dello stile vocale (VSC) mira a trasformare un enunciato di partenza affinché riproduca il timbro, l’accento e l’emozione di una voce di destinazione, preservandone il contenuto linguistico. StyleStream 1.0 ha introdotto il primo sistema VSC zero-shot utilizzabile in streaming, con una qualità di conversione all’avanguardia, ma presentava due limiti: una latenza end-to-end di circa 1 s su hardware consumer e l’assenza di un’interfaccia testuale per progettare o modificare le voci di destinazione. Presentiamo StyleStream 2.0, un framework VSC in streaming, rapido e controllabile, che supera questi limiti. Per ridurre la latenza, addestriamo un modello MeanFlow a pochi passaggi nello spazio dei pixel e lo sottoponiamo a ulteriore fine-tuning con un feedback autoregressivo ispirato a Self Forcing, migliorandone la robustezza durante l’inferenza in streaming. La latenza end-to-end scende così a 520~ms su una GPU consumer, con una velocità doppia rispetto a StyleStream 1.0 e senza compromettere la qualità della conversione. Per consentire una manipolazione controllabile dello stile, eliminiamo il contesto del mel-spettrogramma e veicoliamo invece le informazioni sullo stile di destinazione attraverso un embedding di stile compatto. In questo spazio di embedding, addestriamo un modello unificato di flow matching condizionato dal testo che supporta sia la progettazione di voci tramite testo, associando prompt in linguaggio naturale a stili vocali, sia la modifica delle voci tramite istruzioni, cambiando un attributo specifico di un enunciato di partenza e preservando gli altri. Gli esperimenti mostrano che StyleStream 2.0 raggiunge la massima fedeltà allo stile di destinazione nella VSC, nella progettazione e nella modifica delle voci, restando competitivo per intelligibilità e preservazione degli attributi non modificati.