TaoMate-HD: generazione audio-video autoregressiva a risoluzione progressiva

Abstract degli autori

Gli umani digitali in streaming producono video dettagliati continuando a parlare man mano che arriva nuovo testo. Il denoising ad alta risoluzione è costoso e gli aggiornamenti del testo possono causare ripetizioni o interruzioni del parlato. Presentiamo TaoMate-HD, un modello autoregressivo per lo streaming audio-video ad alta risoluzione. Per ogni breve segmento, o chunk, due passaggi di denoising definiscono la struttura video a bassa risoluzione. Un passaggio finale porta il video ad alta risoluzione, mentre l’audio viene generato lungo la stessa traiettoria. Ogni fase passa le proprie previsioni audiovisive alla stessa fase del chunk successivo, come cronologia. Tra un aggiornamento del testo e l’altro, il modello conserva questa cronologia per dedurre che cosa è già stato pronunciato. L’addestramento alla continuazione utilizza un condizionamento asimmetrico del testo, con finestre di testo separate per la generazione e la distillazione. Gli esperimenti mostrano un’accelerazione di 1,6 volte rispetto alla generazione diretta ad alta risoluzione con lo stesso modello e lo stesso hardware. Una distribuzione ottimizzata in parallelo tra le fasi offre un’ulteriore accelerazione complessiva di 1,9 volte rispetto alla generazione progressiva seriale. Il nostro addestramento alla continuazione riduce il tasso di errore dei caratteri di 11,18 punti percentuali rispetto alla baseline. Il modello supporta anche la generazione audiovisiva della durata di un’ora. La pagina del progetto è https://taoliveaigc.github.io/TaoMate-HD.