ALIVE: inserimento di oggetti allineato alle interazioni per l’editing video guidato dal primo fotogramma

Abstract degli autori

Gli attuali strumenti di editing video possono inserire oggetti, ma spesso faticano a farli partecipare a interazioni, per esempio quando vengono afferrati o manipolati. Presentiamo ALIVE, un sistema che rende «vivi» gli oggetti inseriti attraverso interazioni coerenti con il contenuto del video originale, usando un primo fotogramma modificato e un’istruzione che indica soltanto l’oggetto aggiunto. Raccogliamo 35.800 coppie di editing, combinando video renderizzati in 3D, generati da modelli e ripresi nel mondo reale con coppie di editing generali tratte da ROSE. I video di ciascuna coppia differiscono per la presenza dell’oggetto bersaglio, mentre l’azione circostante rimane invariata: in questo modo insegnano agli strumenti di editing a coordinare il comportamento dell’oggetto e a preservare il video originale. Addestriamo inoltre un modello visione-linguaggio (VLM) a prevedere indicazioni sulle interazioni a partire dagli stessi input. Introduciamo il benchmark ALIVE-interaction per valutare la fedeltà delle interazioni, la preservazione del video originale e la coerenza visiva con un protocollo unificato basato su VLM, e valutiamo ALIVE anche sul benchmark generale per l’inserimento di oggetti nei video. Senza le indicazioni del VLM, ALIVE migliora Overall rispetto al più forte tra i metodi di riferimento valutati del 43,9% e del 4,4% nei due benchmark, rispettivamente. Le indicazioni previste dal VLM migliorano ulteriormente il punteggio di ALIVE-interaction di 0,95 punti, senza richiedere altri input all’utente.