TRACE: verifica temporale e valutazione sensibile alle condizioni della comprensione dei video in streaming

Abstract degli autori

Comprendere i video in streaming richiede ai modelli di interpretare le evidenze man mano che arrivano. Le valutazioni attuali, però, spesso riportano i punteggi ottenuti nei compiti senza specificare quando le evidenze diventano valide, come viene mantenuta la cronologia visiva o che cosa attiva le risposte. Di conseguenza, punteggi simili possono corrispondere a carichi di lavoro, modalità di errore e comportamenti operativi diversi. Presentiamo TRACE (Temporal Audit and Condition-aware Evaluation), un benchmark e un framework di valutazione sensibili alle condizioni che rendono espliciti questi fattori. TRACE combina compiti visivi sottoposti a verifica temporale, con annotazioni sulla tempistica delle evidenze e sui trigger dipendenti dalle istruzioni; un protocollo causale unificato Core--Adapter, che controlla la disponibilità delle informazioni registrando l’effettiva elaborazione della cronologia e gli eventi di risposta; e una presentazione multidimensionale dei risultati relativi alla qualità delle risposte, alla tempestività, al comportamento nella selezione delle risposte, al carico di lavoro, al completamento e all’affidabilità. Su 1.240 record provenienti da 517 video, valutiamo otto modelli o sistemi disponibili al pubblico in otto configurazioni. Riscontriamo che un’accuratezza quasi identica nelle domande e risposte può nascondere differenze sostanziali nel completamento, nella validità delle risposte e nel carico di lavoro della generazione, mentre le prestazioni proattive si distinguono per qualità delle risposte, ritardo delle risposte, falsi allarmi (risposte prodotte quando nessuna finestra obiettivo è valida in quel momento e ne resta una successiva) e finestre obiettivo mancate. Questi risultati mostrano che le prestazioni sui video in streaming dovrebbero essere interpretate come comportamento del sistema condizionato dall’esecuzione, anziché come un singolo punteggio. Il nostro benchmark e il codice sono accessibili all’indirizzo \href{https://github.com/om-ai-lab/trace-bench}{https://github.com/om-ai-lab/trace-bench}.