Trasformare gli editor di immagini in editor video

Abstract degli autori

I recenti sistemi di editing delle immagini hanno raggiunto risultati notevoli nella comprensione semantica, nella fedeltà visiva e nella capacità di seguire le istruzioni, mentre l’editing video resta molto più difficile e costoso. In questo articolo presentiamo una semplice alternativa all’editing video end-to-end: anziché addestrare un unico editor video, trasformiamo un potente editor di immagini in un editor video attraverso una generazione basata su fotogrammi di ancoraggio. L’intuizione centrale è che l’editing video può essere suddiviso in due problemi: modificare un insieme sparso di fotogrammi chiave e propagare le modifiche nel tempo. Su questa base proponiamo Anchor-based Video Editing (AVE), un sistema in due fasi in cui un potente editor di immagini applica dapprima modifiche combinate ai fotogrammi chiave selezionati; un modello di diffusione da immagine a video guidato dal movimento genera poi il video finale, trattando i fotogrammi chiave modificati come ancore fisse. Questo approccio sfrutta direttamente i punti di forza dei moderni editor di immagini, evitando al contempo il costoso addestramento end-to-end di un editor video. Gli esperimenti su IVEBench e VIE-Bench mostrano che AVE ottiene buoni risultati nel seguire le istruzioni, nella coerenza temporale e nella fedeltà ai contenuti. Ulteriori studi di ablazione rivelano che la qualità finale dell’editing video è fortemente correlata a quella dell’editor di immagini, suggerendo che i futuri progressi nell’editing video potrebbero derivare da basi più solide nell’editing delle immagini e da un trasferimento leggero al video. Il codice è disponibile all’indirizzo https://github.com/wangf3014/AVE.