FlashVSR+: super-risoluzione video efficiente tramite attenzione ibrida e Reward-Yield Distribution Matching

Abstract degli autori

I recenti modelli di super-risoluzione video (VSR) consentono una generazione efficiente in un solo passaggio grazie alla distillazione dei modelli di diffusione. Tuttavia, l’inferenza ad alta risoluzione resta costosa ed è difficile allineare i modelli distillati alle preferenze umane. Queste sfide richiedono miglioramenti sia nell’architettura dei modelli sia nella strategia di addestramento. Presentiamo \textbf{FlashVSR+} per affrontare entrambe le limitazioni. Sul fronte dell’architettura, introduciamo un’attenzione ibrida basata sulla marcata località osservata nei modelli VSR preaddestrati, mantenendo al contempo interazioni globali sparse per garantire la coerenza a lungo raggio. L’approccio accelera DiT fino a $2\times$ e riduce la memoria di picco del 45\%, consentendo la VSR 4K senza suddivisione spaziale su una sola RTX 4090 da 24GB. Sul fronte dell’addestramento, proponiamo Reward-Yield Distribution Matching Distillation (Ry-DMD) per una generazione in un solo passaggio allineata alle preferenze. Ry-DMD usa rollout del modello teacher ponderati in base alla ricompensa per incorporare ricompense black-box nella corrispondenza tra distribuzioni, senza propagare all’indietro i gradienti attraverso il modello di ricompensa. Mostriamo inoltre che Ry-DMD si generalizza oltre la VSR, alla generazione T2I. Nel complesso, FlashVSR+ offre una qualità di ripristino superiore e migliora sensibilmente l’efficienza ad alta risoluzione, con miglioramenti costanti nelle preferenze degli utenti. Rendiamo disponibili codice, modelli e dati di addestramento all’indirizzo \href{https://www.flashvsr.tech}{\textcolor{FlashBlue}{\textbf{www.flashvsr.tech}}}.