LightVAE: verso autoencoder video compatti ed efficienti

Abstract degli autori

I modelli di diffusione latente consentono di generare video di alta qualità, ma la codifica e la decodifica con VAE video restano costose dal punto di vista computazionale. I metodi esistenti usano operatori leggeri specifici per fase, ma vincolano congiuntamente il calcolo spaziale e quello temporale oppure eliminano del tutto il calcolo temporale, senza distinguere le rispettive sensibilità alla compressione nei Conv3D preaddestrati. Per affrontare questi limiti, presentiamo LightVAE, un framework di compressione che sfrutta la ridondanza nella modellazione temporale e nella profondità della rete. LightVAE riparametrizza esattamente i livelli Conv3D causali idonei, trasformandoli in una risposta spaziale aggregata e una correzione temporale basata sulle differenze. Sulla base delle loro diverse sensibilità alla compressione, la compressione temporale a basso rango (TLR) mantiene denso il kernel spaziale aggregato e applica un’approssimazione a basso rango specifica per livello soltanto alla correzione temporale. Un’implementazione ripiegata algebricamente equivalente converte i risparmi di calcolo in un’accelerazione effettiva. LightVAE usa inoltre una potatura a blocchi che preserva la larghezza per ridurre la profondità, e un allineamento delle caratteristiche guidato da probe, che sfrutta il feedback di un suffisso congelato del modello insegnante per recuperare qualità dopo la compressione. Il framework si estende anche agli encoder video. Su tre architetture VAE per video e due piattaforme GPU, LightVAE accelera costantemente la decodifica. Per la famiglia Wan VAE, raggiunge un throughput di decodifica fino a $2.24\times$ e $1.11\times$ quello dei decoder VAE efficienti allo stato dell’arte rispettivamente su NVIDIA H100 e RTX~5090, con un PSNR DAVIS più alto e un LPIPS più basso. Su MiniMax-H3, raggiunge un throughput di decodifica fino a $2.97\times$ quello del modello originale, mantenendo il 99.51\% del punteggio complessivo VBench-2.0 del modello originale. Il nostro codice è disponibile all’indirizzo https://github.com/ModelTC/LightVAE.