OmniXRef: un framework unificato per la modifica multimodale dei video con più riferimenti

Abstract degli autori

Nella modifica dei video, l’intento creativo può essere espresso attraverso istruzioni testuali (per esempio, «rimuovi le persone»), immagini di riferimento (per esempio, l’aspetto di un soggetto), video di riferimento (per esempio, il movimento della camera) o una combinazione di questi elementi. Presentiamo OmniXRef, un framework unificato per la modifica multimodale dei video con più riferimenti, che consente agli utenti di combinare un numero variabile di riferimenti testuali, immagini e video per controllare diversi attributi di un video di partenza. Per prima cosa, progettiamo una struttura unificata per gli input, dotata di un’interfaccia a banca di riferimenti, e introduciamo $R^2$-RoPE per favorire la generalizzazione a un maggior numero di riferimenti. Il nostro modello, OmniXRef-Model, usa poi un diffusion transformer a flusso singolo per elaborare congiuntamente, in una sequenza intercalata, il video di partenza e il contesto multimodale proveniente da un MLLM. Per far fronte alla scarsità di dati di addestramento per la modifica basata su video di riferimento, realizziamo OmniXRef-Data mediante pipeline di sintesi per diversi compiti di modifica e combinazioni di riferimenti. Usiamo l’apprendimento curricolare per aumentare progressivamente la complessità dei compiti e la risoluzione. Per consentire una valutazione sistematica del video come modalità di controllo, introduciamo OmniXRef-Bench, un benchmark per il trasferimento di attributi tramite video di riferimento nelle categorie camera, movimento, contenuto, stile ed effetti visivi (VFX). Valutazioni approfondite mostrano che OmniXRef-Model supera sia i modelli di riferimento specifici per ciascun compito sia i modelli commerciali.