MFVSR: un benchmark multistile e granulare per la rimozione dei sottotitoli dai video

Abstract degli autori

La rimozione dei sottotitoli dai video (VSR) è un’importante attività di ripristino video, ma la sua valutazione è ancora limitata da dataset a bassa risoluzione, insiemi di test frammentati e protocolli generici di video inpainting che non rilevano adeguatamente gli errori di ripristino localizzati, le modifiche indesiderate, l’instabilità temporale e i risultati incompleti. In questo articolo presentiamo MFVSR, un benchmark multistile su larga scala per una valutazione granulare della rimozione dei sottotitoli dai video che tenga conto anche dell’affidabilità. MFVSR si distingue per tre caratteristiche principali: (1) dati ampi e diversificati, comprendenti 3.000 video abbinati provenienti da fonti Real-HQ, Real-LQ e AI-Generated, più un insieme supplementare di 953 video reali raccolti in contesti non controllati per analizzare la copertura in scenari reali; (2) una varietà controllata di sottotitoli, che comprende 16 lingue e quattro fattori relativi alla disposizione spaziale, al comportamento temporale, allo stile visivo e alla modalità linguistica; (3) una valutazione granulare, basata su un protocollo condizionato dalle informazioni disponibili e disaccoppiato sul piano spaziale, che distingue la rimozione senza indicazioni da quella guidata da maschere e misura la fedeltà del ripristino, la fedeltà della preservazione, la fedeltà temporale, la copertura e i fallimenti. Gli esperimenti condotti su sei metodi rappresentativi rivelano notevoli discrepanze tra il ripristino locale, la preservazione delle aree esterne alla regione interessata, la coerenza temporale e l’affidabilità sull’intero insieme di test, discrepanze che le metriche convenzionali calcolate sull’intero fotogramma non mettono in luce. MFVSR offre quindi una base più completa e diagnostica per valutare e migliorare i metodi di rimozione dei sottotitoli dai video.