VibeVideoBench: valutare gli agenti multimodali nella generazione di video tramite codice

Abstract degli autori

I modelli di diffusione per i video producono clip sorprendenti, ma non riescono a rappresentare in modo affidabile una formula esatta, un grafico corretto, un gioco che rispetti le regole o una narrazione sincronizzata con gli eventi sullo schermo. Sta emergendo un approccio diverso: agenti multimodali che scrivono codice per generare ogni fotogramma e sintetizzare ogni suono. Presentiamo VibeVideoBench, un benchmark per valutare gli agenti nella generazione di video tramite codice. Comprende 239 compiti autonomi in inglese e cinese, distribuiti in 12 categorie, dai racconti basati sui dati e dai video costruiti attorno alla musica alle lezioni scolastiche e ai video esplicativi di articoli scientifici. Ciascun compito chiede a un agente, eseguito nel proprio ambiente nativo all’interno di una sandbox senza modelli di generazione di immagini o video, di consegnare entro un’ora un MP4 finito e dotato di audio. La valutazione è gerarchica e basata su evidenze: controlli automatici delle specifiche di consegna, circa 13k verifiche basate su criteri specifici per ciascun compito e riconducibili ai requisiti che controllano, e cinque dimensioni qualitative definite per ciascun compito, a cui assegnano un punteggio tre panel di valutatori VLM. Su nove sistemi di agenti all’avanguardia e 2.151 esecuzioni valutate, GPT-6 Astra e Claude Opus 5.5 si classificano rispettivamente al primo e al secondo posto sia secondo i valutatori sia secondo gli annotatori umani; il sistema migliore soddisfa tutti i requisiti fondamentali nel 76,3% dei compiti. La consegna costituisce un secondo asse di valutazione: assegnare un punteggio pari a zero ai video mancanti cambia la classifica, e tre quarti dei video non consegnati sono rendering finali avviati troppo tardi, eseguiti troppo lentamente o mai avviati, un problema legato a come gli agenti pianificano la loro ora di lavoro. Gli agenti costruiscono le proprie pipeline di rendering ed esaminano i fotogrammi che producono, ma la frequenza con cui li osservano non permette di prevedere la qualità. La classifica dei sistemi stilata dai valutatori corrisponde da vicino alle preferenze espresse alla cieca dagli esseri umani.