FrameForge: sfruttare i prior dei modelli fondazionali video per la generazione unificata di immagini

Abstract degli autori

La generazione condizionale unificata di immagini richiede un unico modello capace di preservare aspetti diversi di un input visivo e, al contempo, produrre un’immagine target che segua indicazioni testuali. I modelli video preaddestrati offrono una base promettente, perché codificano trasformazioni visive nel tempo; tuttavia, gli approcci esistenti assegnano in genere la condizione e il target a posizioni temporali fisse. Osserviamo che le relazioni tra condizione e target variano notevolmente a seconda del compito di generazione, mentre i modelli video codificano naturalmente trasformazioni visive su scale temporali diverse. Questo ci spinge a modellare la generazione condizionale attraverso relazioni temporali virtuali adattive all’input. Proponiamo FrameForge, che coglie due aspetti complementari di tali relazioni. Mixture of Temporal Experts (MoTE) modella la distanza tra il target e la condizione selezionando dinamicamente esperti RoPE temporali con intervalli virtuali diversi. Chain of Temporal Reasoning (CoTR) modella la trasformazione della condizione nel target attraverso uno stato intermedio latente, con una maschera di attenzione che crea un collo di bottiglia nel ragionamento e incoraggia la propagazione delle informazioni lungo questo percorso. Gli esperimenti su DreamBench, COCO2017 e GEdit-Bench mostrano che FrameForge supera i metodi messi a confronto nella generazione guidata dal soggetto, nella generazione di immagini a partire da Canny e nella modifica di immagini.