Dare peso alle rappresentazioni latenti degli MLLM: apprendimento predittivo sensibile ai fattori per la generazione di video cinematografici

Abstract degli autori

La generazione di video cinematografici richiede sia inferenza temporale a partire da input limitati (ovvero indicazioni sparse, anziché fotogramma per fotogramma), sia un controllo sensibile ai fattori relativi ai personaggi, alla scena, all’azione e alla macchina da presa. I modelli linguistici multimodali di grandi dimensioni (MLLM) offrono conoscenze a priori utili per entrambe le capacità, ma le loro rappresentazioni non sono automaticamente utilizzabili per generare video: un Video Diffusion Transformer (DiT) può aggirarle attraverso i propri canali di condizionamento, e il loro impiego non garantisce né un controllo sensibile ai fattori né una previsione temporale compatibile con la generazione. Proponiamo Factor-Aware Predictive Learning (FAPL), che pone l’uso efficace delle rappresentazioni latenti degli MLLM come prerequisito comune e affronta poi le due capacità con segnali di apprendimento complementari. In primo luogo, l’ancoraggio del generatore basato esclusivamente sulle rappresentazioni latenti addestra il DiT mantenendo fissi l’MLLM e il connettore, rafforzando l’uso delle rappresentazioni latenti dell’MLLM da parte del DiT nella generazione. In secondo luogo, per il controllo sensibile ai fattori, coppie di video specificano la modifica di un fattore bersaglio e la conservazione dei fattori non bersaglio; la sostituzione degli intervalli relativi ai fattori addestra il DiT a riprodurre questa relazione nel video generato. In terzo luogo, le osservazioni basate sul solo testo e quelle basate su testo e video completo condividono un video obiettivo; il DiT addestrato viene quindi mantenuto fisso mentre l’MLLM e il connettore vengono ottimizzati attraverso di esso. Questa fase finale addestra rappresentazioni basate su input limitati per la generazione, mantenendo al contempo la ricostruzione a partire da osservazioni complete come modalità di addestramento complementare. Esperimenti approfonditi mostrano prestazioni costantemente superiori rispetto ai metodi di riferimento in tre compiti di generazione di video cinematografici (ovvero generazione di video da input sparsi, editing sensibile ai fattori e generazione di video con più inquadrature) e confermano il contributo di FAPL all’uso delle caratteristiche degli MLLM, al controllo temporale e al coordinamento dei fattori.