UniAVC: creazione unificata di audio e video tramite addestramento progressivo e schedulazione asimmetrica

Abstract degli autori

La creazione unificata di audio e video richiede un unico modello capace di sintetizzare congiuntamente le due modalità a partire da un testo, generare l’una a partire dall’altra in entrambe le direzioni ed eseguire l’editing di entrambe seguendo istruzioni. I metodi esistenti dipendono fortemente da corpora di dati audio-video appaiati, scarsi per la generazione congiunta e ancora più rari per l’editing. Di conseguenza, questi dati vengono impiegati per apprendere capacità di generazione e di editing relative a un singolo ramo, che gli abbondanti dati unimodali potrebbero facilmente insegnare, anziché per apprendere l’accoppiamento tra modalità. Inoltre, i sistemi prevalenti applicano la stessa schedulazione del rumore a entrambe le modalità, trascurando due limiti cruciali. Primo, a causa della notevole differenza nella densità di informazioni, il video richiede un livello elevato di rumore più a lungo per organizzare la struttura spaziale e del movimento, mentre il segnale audio, meno denso, può stabilizzarsi prima durante la sintesi: una schedulazione uniforme potrebbe compromettere questa dinamica. Secondo, la rimozione del rumore in parallelo nelle due modalità lascia non addestrati i flussi di lavoro asimmetrici, come quelli in cui una modalità funge da condizione per sintetizzare o modificare l’altra. Presentiamo UniAVC, che affronta entrambi gli ostacoli. Il modello addestra dapprima ciascun ramo su un dataset unimodale fino a raggiungere piene capacità di generazione e di editing, e dedica successivamente i dati appaiati a sfruttare la corrispondenza tra modalità. Nel frattempo, scheduler separati per ciascuna modalità modificano indipendentemente la schedulazione del rumore a partire da un passo temporale condiviso, mentre sottocompiti in cui una modalità è priva di rumore supervisionano direttamente configurazioni asimmetriche. Queste impostazioni consentono, rispettivamente, un editing che tiene conto dell’intento, mantenendo intatta una modalità e usandola per vincolare l’altra, e un autoaffinamento successivo all’inferenza, che rigenera soltanto un ramo insoddisfacente rispetto a uno accettato. UniAVC copre così molteplici compiti di creazione con un unico insieme di pesi, senza adattatori specifici per ciascun compito.