Attenzione sparsa basata sulle dinamiche per una generazione video autoregressiva efficiente mediante diffusione

Abstract degli autori

I transformer a diffusione autoregressivi si sono affermati come un approccio efficace per generare video lunghi. Tuttavia, sono spesso limitati da costi computazionali proibitivi e da un notevole impiego di memoria. Questa inefficienza deriva da meccanismi di calcolo densi, che assegnano le stesse risorse di elaborazione a tutte le regioni spazio-temporali senza sfruttare la ridondanza temporale intrinseca dei video, nei quali il movimento è generalmente circoscritto a poche aree. In questo articolo proponiamo Dynamics-Aware Sparse Attention (DASA), un framework unificato che sostituisce il calcolo denso con una generazione sparsa guidata dal movimento, eliminando sia le ridondanze di memorizzazione sia quelle computazionali. Ispirandoci ai principi dei codec video, separiamo esplicitamente il contenuto video in regioni dinamiche e statiche. Per attenuare i limiti di memoria, comprimiamo selettivamente la cache KV dei dati precedenti, conservando soltanto le caratteristiche dinamiche all’interno del segmento generato. Inoltre, per ridurre i costi computazionali, adottiamo una strategia di allocazione del calcolo a livello di regione basata sulle dinamiche locali. Introduciamo anche un metodo di distillazione guidato dalle dinamiche per migliorare le prestazioni attraverso un processo di addestramento alla distillazione leggero. Gli esperimenti su VBench mostrano che il nostro approccio accelera la generazione video autoregressiva di 2,16 volte, preservando un’elevata fedeltà visiva.