PlaylistEval: ci si può fidare dei valutatori video-linguistici su video lunghi un giorno e oltre?

Abstract degli autori

I modelli video-linguistici sono sempre più usati come valutatori della comprensione dei video, sia per valutare gli output dei modelli sia per addestrare modelli di ricompensa. Non è ancora stato stabilito se le loro valutazioni restino affidabili quando le informazioni necessarie sono sepolte in video lunghi un giorno. I benchmark esistenti non permettono di rispondere: i loro video durano in genere solo pochi minuti, molte coppie di risposte si possono distinguere dalla sola trascrizione e la raccolta di valutazioni umane non è scalabile per video estremamente lunghi. Presentiamo PlaylistEval, un framework agentico che costruisce benchmark per valutatori video-linguistici su una raccolta di playlist di 100 ore, senza annotazioni umane. Genera automaticamente domande con coppie di risposte le cui differenze sono controllate tramite degradazione causale, così che ogni coppia richieda il recupero di informazioni dalla raccolta. Il benchmark risultante contiene 630 coppie in sette ambiti che comprendono conoscenze sia statiche sia dinamiche e, su un sottoinsieme stratificato di 152 coppie, concorda con le valutazioni umane nel 93,0% dei casi (IAA 0,781). La valutazione di 17 modelli omnimodali e multimodali appartenenti a otto famiglie rivela che i valutatori più avanzati raggiungono solo il 75,4% di accuratezza nel confronto a coppie, mentre i modelli valutatori open source ottengono risultati molto inferiori. Mostriamo inoltre che sia il recupero delle informazioni sia la valutazione finale dipendono dall’uso di più modalità e che l’accuratezza dei valutatori diminuisce all’aumentare del numero di playlist. Rendiamo disponibili la nostra pipeline, il benchmark e il codice di valutazione all’indirizzo https://playlisteval.github.io.