FrameMorrow: selezione dei fotogrammi guidata dal futuro con token prospettici per la generazione di video di lunga durata

Abstract degli autori

La generazione di video di lunga durata richiede modelli capaci di sfruttare efficacemente una cronologia di generazione sempre più estesa. Man mano che questa cresce, conservare tutti i contenuti precedenti diventa sempre più costoso e ridondante: è quindi essenziale selezionarli in modo efficace. Gli approcci esistenti spesso stabiliscono quali contenuti precedenti siano pertinenti in base al contenuto attuale. Tuttavia, le informazioni pertinenti al presente non sono necessariamente utili per la generazione futura, mentre contenuti precedenti che sembrano meno pertinenti possono diventare importanti in seguito. La nostra intuizione fondamentale è che le informazioni precedenti vadano selezionate in base alla loro pertinenza rispetto alle esigenze informative future. Per cogliere queste esigenze non occorre generare l’intero futuro: basta una rappresentazione compatta di ciò che diventerà importante subito dopo per guidare la selezione dei contenuti precedenti. Su questa base proponiamo FrameMorrow, un selettore prospettico di fotogrammi che predice un piccolo insieme di token prospettici rappresentativi delle esigenze informative future e li usa per individuare le informazioni pertinenti nei contenuti precedenti. FrameMorrow seleziona fotogrammi precedenti espliciti anziché stati interni specifici del modello. Può così essere integrato direttamente in diversi generatori, compresi i modelli a codice chiuso, con un costo aggiuntivo di inferenza contenuto. Valutiamo FrameMorrow su cinque benchmark e 11 modelli generativi che comprendono la generazione di video di lunga durata, la generazione interattiva e i modelli del mondo condizionati dalle azioni. Un’ampia serie di esperimenti mostra miglioramenti costanti nella coerenza a lungo termine, nella qualità visiva e nell’allineamento alle azioni in diversi contesti di generazione.