Tacit-TTS: dalla decodifica autoregressiva alla previsione con mascheramento per una clonazione vocale efficiente senza trascrizione

Abstract degli autori

I sistemi TTS basati sulla modellazione semantica autoregressiva hanno dimostrato ottime prestazioni nella clonazione vocale zero-shot e un’ampia varietà espressiva, ma la decodifica sequenziale comporta una latenza considerevole. Le alternative non autoregressive generano molto più rapidamente, ma spesso richiedono condizioni più restrittive per l’uso del parlato di riferimento, come la disponibilità della sua trascrizione durante l’inferenza. Presentiamo Tacit-TTS, un sistema efficiente di clonazione vocale zero-shot senza trascrizione, ottenuto per distillazione da IndexTTS2. Il nostro modello sostituisce la decodifica autoregressiva da testo a rappresentazione semantica con una generazione non autoregressiva con mascheramento, introduce una stima della lunghezza acustica che non richiede addestramento e accelera il renderer basato sul flow matching mediante distillazione ReFlow. Su due dataset in inglese e due in cinese mandarino, Tacit-TTS raggiunge una qualità zero-shot competitiva e genera il parlato oltre 10 volte più velocemente di IndexTTS2 per enunciati di durata superiore a 5 secondi. La possibilità di usare riferimenti senza trascrizione consente inoltre di impiegare riferimenti in altre lingue e riferimenti non lessicali. Verifichiamo questa capacità usando riferimenti in altre otto lingue, lallazione infantile e sequenze sintetiche prive di senso: in questi casi, i sistemi che dipendono dalle trascrizioni spesso perdono qualità o falliscono a causa di trascrizioni ASR inaffidabili.