StreamEval: valutazione dei modelli di generazione interattiva di video in streaming

Abstract degli autori

Con i progressi nella generazione di video in streaming, diventa sempre più importante consentire l’interazione in tempo reale con i video generati. Presentiamo StreamEval, un benchmark unificato per la generazione interattiva di video in streaming che comprende cinque compiti: dialogo degli avatar, performance degli avatar, generazione di mondi, modifica tramite istruzioni e modifica basata su riferimenti. StreamEval comprende 300 casi di test predefiniti della durata di 15-300 s. Ciascuno specifica le risorse iniziali, le richieste multimodali che arrivano progressivamente e i requisiti espliciti per i cambiamenti di stato e la conservazione dei contenuti. Le prestazioni sono valutate lungo quattro dimensioni — esecuzione dei compiti, coerenza dello stato, fedeltà visiva e coordinamento audiovisivo — mediante dieci metriche specifiche per i diversi compiti, su una scala da 0 a 100. Valutando 37 modelli distinti su 300 casi di test, riscontriamo che un’elevata qualità visiva e il mantenimento dell’identità non coincidono necessariamente con un’esecuzione affidabile delle richieste o con una coerenza dello stato mantenuta nel tempo. In particolare, l’esecuzione delle richieste resta difficile: i punteggi più alti per i rispettivi compiti sono 36,90 per Following tra sette modelli di performance degli avatar, 25,93 per Following nella generazione di mondi condizionata dal testo e 15,00 per Edit Success tra tre modelli di modifica basata su riferimenti per i quali sono riportati risultati. Questi risultati indicano nell’esecuzione affidabile delle richieste, nel rispetto dei vincoli temporali e di conservazione dei contenuti, una sfida centrale per il progresso dei sistemi interattivi onnimodali in tempo reale. La classifica è disponibile all’indirizzo https://streameval.ai