ForcingBooster: denoising adattivo patch per patch per la diffusione video autoregressiva rapida

Abstract degli autori

I modelli di diffusione video autoregressivi sono diventati un approccio di punta per la generazione interattiva di video in tempo reale e la modellazione di mondi video. Tuttavia, i metodi esistenti tendono ad allocare il calcolo in modo uniforme nello spazio quando generano il chunk video successivo, aggiornando tutte le patch con lo stesso programma di denoising e lo stesso numero di valutazioni della funzione. Questo ignora l’eterogeneità spaziale dei contenuti video: spesso le regioni statiche, semplici o ricorrenti sono più facili da sottoporre a denoising, mentre altre richiedono un ulteriore affinamento o più contesto. Un budget uniforme comporta quindi calcoli ridondanti sulle patch più facili, mentre ridurre il numero fisso di passaggi può lasciare le patch difficili affinate in modo insufficiente. Introduciamo \methodname{}, un framework generale che alloca dinamicamente i passaggi di denoising alle singole patch: quelle più facili si fermano prima per migliorare l’efficienza, mentre quelle più difficili ricevono ulteriori passaggi di affinamento. Questo approccio accelera la generazione con un degrado trascurabile della qualità. Il nostro metodo è compatibile con la maggior parte dei modelli di diffusione autoregressivi esistenti a pochi passaggi e richiede soltanto un modulo di instradamento leggero, con un addestramento limitato. Gli esperimenti dimostrano che \methodname{} riduce di circa il 50\% il numero totale di passaggi di denoising applicati alle patch video, mantenendo una qualità visiva paragonabile a quella della baseline a quattro passaggi.