DeOverlay: un benchmark e un modello di flusso ancorato alla sorgente per rimuovere le sovrimpressioni dai video

Abstract degli autori

La rimozione delle sovrimpressioni dai video mira a ricostruire le scene oscurate da sottotitoli, titoli e loghi, preservando il contenuto circostante. I metodi esistenti usano la propagazione temporale o la generazione condizionata dalla sorgente, ma possono lasciare tracce delle sovrimpressioni e alterare la struttura della scena quando informazioni utili della sorgente sono oscurate. Proponiamo DeOverlay, un modello di flusso ancorato alla sorgente che ricostruisce il video privo di sovrimpressioni a partire dalla rappresentazione latente della sorgente, con una guida fissa fornita dalla sorgente. Nello specifico, addestriamo una rete condivisa che stima la velocità lungo percorsi accoppiati dalla sorgente al video privo di sovrimpressioni, usando il flow matching ponderato per regione, così da consentire correzioni successive a partire da stati intermedi. Per selezionare gli indizi locali della sorgente, sviluppiamo un’aggregazione temporale normalizzata in base alla visibilità, che esclude le posizioni mascherate e calcola la media delle osservazioni rimanenti. Il contesto globale della sorgente e gli embedding delle regioni da modificare integrano questi indizi mediante un condizionamento additivo, mantenendo un’unica sequenza di token video. Per valutare la ricostruzione delle scene in diverse condizioni di sovrimpressione, presentiamo DVTE-Bench, che comprende 1.631 coppie di video distribuite in otto categorie di sovrimpressioni testuali, con video di riferimento privi di sovrimpressioni verificati tramite OCR, maschere di pixel allineate ai fotogrammi e un protocollo di valutazione comune. Gli esperimenti sulla versione completa mostrano che DeOverlay supera quattro metodi di riferimento in tutte e cinque le metriche di ricostruzione e percettive, riducendo Mask LPIPS e Mask VFID rispettivamente del 58,3% e del 70,3% rispetto al migliore tra i metodi di riferimento valutati. Ulteriori esempi qualitativi mostrano la rimozione di loghi grafici e sticker. Renderemo disponibili il benchmark completo, il codice di valutazione e i risultati dei test. Pagina del progetto:https://yahooo-m.github.io/DVTE-Bench/