SEAM: allineamento e fusione spettrali degli embedding per la sintesi vocale con poche risorse

Abstract degli autori

Ampliare il vocabolario dei modelli condizionali di sintesi vocale (TTS) richiede in genere un ampio fine-tuning con dati audio abbinati al testo, creando un ostacolo rilevante per l’adattamento in contesti con poche risorse e tra lingue diverse. Per affrontare questo problema, presentiamo SEAM, un metodo di inizializzazione che non richiede audio e costruisce gli embedding dei token mai visti a partire da sottotoken noti. A differenza delle strategie standard di aggregazione, che ignorano la struttura sequenziale, SEAM applica un filtro spettrale per preservare l’ordine fonetico temporale e usa la regressione ridge in forma chiusa per allineare i nuovi embedding alla varietà di condizionamento preaddestrata. Su tre lingue e due architetture TTS, SEAM si avvicina alle prestazioni della baseline o le eguaglia usando una quantità di dati di addestramento fino a quattro volte inferiore e riducendo la complessità campionaria del 75\% rispetto all’inizializzazione casuale e all’aggregazione tramite media. Il nostro approccio offre una soluzione leggera, riproducibile e fondata sul piano teorico per ampliare il vocabolario nella sintesi vocale con poche risorse.