Meta inverse prompting per modelli generativi video

Abstract degli autori

I recenti progressi nei modelli generativi video hanno reso possibili procedure flessibili di generazione condizionata e modifica, come la generazione di video a partire da testo o da immagini e la sintesi guidata da riferimenti. Tuttavia, queste procedure sono per loro natura unidirezionali: trasformano le condizioni in video senza offrire un modo per invertire il processo. Nei contesti complessi di produzione di contenuti multimediali, sarebbe molto utile poter ricavare da un video le condizioni testuali con cui controllare la generazione, ma questa possibilità resta poco esplorata. Sebbene il prompting inverso sia stato studiato per la generazione di immagini, estendere direttamente tali approcci ai video è difficile: occorre cogliere le dinamiche temporali oltre all’aspetto statico, e l’ottimizzazione per ciascun video ha un costo computazionale notevole. In questo lavoro proponiamo il primo framework pratico per un prompting inverso video efficiente. In particolare, formuliamo il prompting inverso come un problema di meta-apprendimento e introduciamo Meta Video Inverse Prompting (MVIP), che apprende un meta-prompt ottimizzato sulle dimensioni temporali per consentire un’inferenza dei prompt rapida ed efficace. Il nostro approccio distribuisce il costo del processo di inversione sulla fase di apprendimento, eliminando la necessità di una costosa ottimizzazione iterativa durante il test. I risultati sperimentali mostrano che MVIP ricava prompt inversi di qualità superiore, con una fedeltà di ricostruzione significativamente migliore rispetto ai metodi di riferimento basati sull’inversione di immagini e sulla generazione iterativa di didascalie, ottenendo al contempo notevoli miglioramenti in termini di efficienza. Il codice e i risultati video sono disponibili all’indirizzo https://ueriniuno.github.io/mvip-page/.