VideoPhysEdit: montaggio video controfattuale fisico tramite ricostruzione fisica di scene con corpi rigidi

Abstract degli autori

Il montaggio video ha compiuto notevoli progressi negli ultimi anni, con metodi che tengono sempre più conto delle conseguenze visive delle modifiche, come i cambiamenti delle ombre e delle occlusioni. Le conseguenze fisiche delle modifiche, tra cui i cambiamenti nei movimenti e nelle interazioni successivi, sono però ancora poco esplorate. Formuliamo questo problema come montaggio video controfattuale fisico (PCVE), il cui obiettivo è generare, a partire da un video originale, una modifica fisica e il fotogramma in cui questa viene eseguita, un video controfattuale che mostri i movimenti e le interazioni risultanti. Il PCVE è complesso perché richiede di comprendere la fisica della scena e di dedurre i movimenti e le interazioni successivi provocati da un intervento fisico, mentre mancano dati fattuali e controfattuali appaiati e metriche di valutazione dedicate. Presentiamo VideoPhysEdit, una nuova pipeline per il PCVE in scene con corpi rigidi che non richiede addestramento. La pipeline rende esplicito il ragionamento fisico attraverso un nuovo metodo di ricostruzione fisica della scena, che ricostruisce una scena capace di riprodurre in simulazione i movimenti e le interazioni osservati. Può così applicare le modifiche fisiche come interventi e usare le traiettorie risultanti per guidare la generazione del video controfattuale. Realizziamo inoltre PCVE-RigidBench, un benchmark sintetico con video originali e video controfattuali di riferimento appaiati e dati fisici di riferimento, e introduciamo il Physical Edit Score. VideoPhysEdit raggiunge un’accuratezza delle modifiche fisiche nettamente superiore a quella dei metodi open source e dei modelli commerciali, mantenendo una fedeltà visiva competitiva. Il suo Physical Edit Score è 0,376, l’unico punteggio positivo tra i metodi confrontati. I confronti qualitativi su video reali mostrano inoltre che VideoPhysEdit è applicabile a scene del mondo reale e rappresenta i movimenti e le interazioni successivi provocati dalle modifiche meglio dei metodi confrontati. Codice: https://github.com/Hammour-steak/VideoPhysEdit