DEFINE: controllo dell’accento guidato da esempi per la sintesi vocale zero-shot

Abstract degli autori

La sintesi vocale (TTS) zero-shot può riprodurre la voce di un parlante mai incontrato prima a partire da una breve registrazione di riferimento, ma di norma l’identità del parlante e il suo accento restano intrecciati nello stesso riferimento. Presentiamo DEFINE, un sistema end-to-end che separa questi fattori usando esempi audio distinti per l’identità del parlante e per l’accento desiderato. Un unico peso di guida, applicato in fase di inferenza, permette di regolare con continuità l’intensità dell’accento senza riaddestrare il modello. Basato su F5-TTS e adattato tramite LoRA con un numero ridotto di parametri, DEFINE trasforma brevi esempi di accento in rappresentazioni usate per condizionare la sintesi, servendosi di un encoder addestrato mediante prototipi di accento appresi. Non richiede né etichette degli accenti in fase di inferenza né la conversione della forma d’onda dopo la sintesi. Sugli accenti presenti nell’addestramento, aumentando il peso di guida l’accuratezza della probe per l’accento passa dal 6,5% al 19,6%. Ancora più importante, un unico modello DEFINE consente di controllare anche accenti al di fuori dell’insieme usato per l’addestramento: sugli accenti presenti nell’addestramento e su quelli fuori dominio, ma non sugli accenti tenuti da parte, eguaglia le prestazioni nel trasferimento dell’accento di una cascata composta da due modelli, uno TTS e uno di conversione vocale, ottenendo al tempo stesso una maggiore somiglianza con il parlante e una qualità del parlato prevista comparabile. Questi risultati dimostrano che, all’interno di un unico modello TTS zero-shot, è possibile controllare indipendentemente l’identità del parlante e l’accento mediante esempi audio, anche per accenti mai incontrati durante l’addestramento.