CoSTA: adattamento di token del parlato compressi per modelli efficienti di dialogo vocale

Abstract degli autori

I modelli di dialogo vocale (SDM) condividono in genere uno spazio di token del parlato per la generazione e la sintesi, con il risultato di sequenze autoregressive lunghe e inferenze costose. I tokenizer del parlato a frequenza più bassa accorciano le sequenze, ma possono introdurre compromessi tra compressione e qualità, oltre a rendere costosa la sostituzione senza spezzare questo accoppiamento. Per affrontare questo limite, proponiamo CoSTA, un framework post hoc che preserva la compatibilità e separa gli spazi di token per la generazione e la sintesi, mantenendo il tokenizer e il decoder originali del parlato. CoSTA estende lo spazio di token per la generazione con rappresentazioni compresse mediante l’estensione del vocabolario con inizializzazione basata sulla media, l’adattamento della pronuncia e l’adattamento al dialogo; segue poi un’espansione deterministica nello spazio di token originale del parlato prima della sintesi. Nei benchmark bilingui di dialogo vocale, CoSTA raggiunge una velocità di generazione dei token del parlato espansi di circa $1.7\times$, una latenza inferiore per l’intera risposta e un throughput maggiore, preservando la qualità delle risposte. Le analisi mostrano interazioni più prolungate con budget limitati e un compromesso pratico tra compressione, efficienza di decodifica e qualità. Ulteriori esperimenti dimostrano il trasferimento tra architetture e la complementarità con la tokenizzazione a bassa frequenza.