MEV: un dataset video multi-evento per la generazione di video in piano sequenza

Abstract degli autori

Gli attuali dataset per la generazione di video da testo si limitano in larga misura a brevi clip che raffigurano un singolo evento o a didascalie grossolane. Di conseguenza, offrono una supervisione limitata per modellare le dipendenze temporali nei video in piano sequenza, portando spesso a generazioni temporalmente incoerenti quando vengono descritti più eventi. In questo articolo presentiamo MEV, un dataset video multi-evento progettato per la generazione di video in piano sequenza. MEV offre video di alta qualità del mondo reale in cui i soggetti possono eseguire una sequenza di eventi distinti e non sovrapposti, caratterizzati da confini temporali precisi e annotazioni procedurali dettagliate. Questa discretizzazione incentrata sugli eventi riduce i fattori confondenti e consente ai modelli di supportare un condizionamento localizzato temporalmente e di costruire video in piano sequenza a partire da unità di eventi atomiche. Inoltre, presentiamo una pipeline di annotazione completa che segmenta i video in eventi ancorati temporalmente e genera didascalie strutturate sia a livello globale sia a livello di evento. In aggiunta, nell’ambito di un protocollo di valutazione incentrato sugli eventi, conduciamo esperimenti di generazione multi-evento effettuando il fine-tuning su MEV con un condizionamento degli eventi ancorato temporalmente, ottenendo transizioni tra eventi migliori nei video in piano sequenza e contenuti più coerenti. Riteniamo che questo lavoro offra una risorsa pubblicamente disponibile per il fine-tuning multi-evento e la valutazione incentrata sugli eventi, insieme a indicazioni pratiche sull’apprendimento da dati video-testo strutturati temporalmente.