Accent Analogy Guidance: maggiore somiglianza con la voce originale a parità di accento nella clonazione vocale interlinguistica

Abstract degli autori

Nella sintesi vocale interlinguistica zero-shot, l’accento della voce di riferimento si trasferisce alla voce generata nella lingua di destinazione. Proponiamo accent analogy guidance (AAG), un termine del campionatore che non richiede addestramento e sottrae una direzione dell’accento stimata dalle previsioni del modello stesso per una voce sintetica generata in entrambe le lingue: il contributo della voce si annulla e resta solo quello dell’accento. Secondo un LLM che valuta l’accento in cieco su dati reali di doppiaggio, la ripesatura della classifier-free guidance tra riferimento e testo, insieme alle sue varianti, resta vicina a un’unica curva di compromesso tra identità vocale e accento. Valutiamo un metodo in base alla somiglianza con la voce originale che ottiene al di sopra di quella curva a parità di accento ($Δ$SIM). Su quattro modelli TTS aperti, AAG si colloca sopra la curva: su OmniVoice, $Δ$SIM va da +0,11 a +0,27 su tre set di test (con un accento valutato da 3,51 a 4,28 su una scala da 1 a 5 e una somiglianza con la voce originale pari a 0,29, mentre la ripesatura mantiene una somiglianza di 0,02); anche MaskGCT e CosyVoice 2 si collocano sopra le rispettive curve e, su F5-TTS, AAG produce un accento più vicino a quello di un madrelingua rispetto a qualsiasi impostazione di ripesatura. Una misura di identificazione della lingua che non usa LLM e un gruppo di dodici ascoltatori confermano il risultato. Un test della premessa e l’estensione della curva di un modello indicano in anticipo se AAG può apportare un miglioramento e, approssimativamente, di quanto, prevedendo l’unico modello per cui non apporta alcun miglioramento (X-Voice).