MoviEdit: rendere semplice il montaggio video multi-inquadratura di lunga durata

Abstract degli autori

Il montaggio video multi-inquadratura di lunga durata richiede che l’intervento di montaggio previsto resti coerente nonostante cambiamenti improvvisi della scena, del punto di vista e dell’aspetto del soggetto, elaborando al contempo un contesto visivo sostanzialmente più lungo rispetto a quello gestito dai tradizionali strumenti di montaggio a inquadratura singola. Presentiamo MoviEdit, un framework end-to-end per il montaggio video multi-inquadratura di lunga durata su larga scala, che affronta congiuntamente le sfide legate ai dati, alla modellazione e alla valutazione. Per fornire dati di supervisione tra inquadrature su larga scala, sviluppiamo pipeline automatiche di generazione dei dati che includono riprese sincronizzate da più punti di vista, video multi-inquadratura del mondo reale e contenuti multi-inquadratura generati, ottenendo 87.000 video di editing appaiati senza annotazione manuale. Dal punto di vista architetturale, MoviEdit utilizza una struttura autoregressiva bidirezionale a cascata: una prima fase bidirezionale leggera crea una bozza di montaggio globalmente coerente su una rappresentazione compressa spazio-temporalmente, che viene poi propagata autoregressivamente e perfezionata sull’intero video. Presentiamo inoltre MoviEdit-Bench, un benchmark dedicato alla valutazione sistematica del montaggio video multi-inquadratura di lunga durata. Esperimenti approfonditi mostrano che MoviEdit supera nettamente i modelli open source esistenti e offre prestazioni paragonabili a quelle dei modelli all’avanguardia del settore, sia nel montaggio guidato dal testo sia in quello guidato dalle immagini. Visita la pagina del progetto per consultare i risultati completi e accedere al benchmark: https://multi-shot-edit.github.io/