DataMagic: creare video basati sui dati con un’orchestrazione multiagente dichiarativa

Abstract degli autori

I video basati sui dati comunicano le informazioni che emergono dai dati attraverso grafici dinamici, narrazione vocale e animazioni sincronizzate, e sono diventati una forma diffusa di narrazione dei dati. Realizzarli, tuttavia, richiede competenze nell’analisi dei dati, nella progettazione narrativa e nel montaggio video. Gli strumenti di visualizzazione statica non offrono funzionalità narrative né di animazione; gli strumenti di creazione si basano su grafici preparati in precedenza anziché sui dati grezzi; e i modelli che operano a livello di pixel generano video end-to-end, ma non possono garantirne l’accuratezza dei dati né la provenienza. La generazione automatica end-to-end presenta due sfide fondamentali: rappresentare in modo uniforme grafici, narrazione e animazioni insieme alle loro relazioni temporali, e cercare in modo efficiente, all’interno di un vasto spazio di possibilità progettuali, composizioni coerenti sul piano narrativo. Presentiamo DataMagic, che crea video a partire da dati tabulari grezzi mediante un’orchestrazione multiagente dichiarativa. In primo luogo, la specifica dichiarativa DVSpec riunisce grafici, narrazione e animazioni attraverso riferimenti legati ai dati e una sincronizzazione dichiarativa, garantendo la provenienza dei dati e l’allineamento audiovisivo automatico. In secondo luogo, una strategia multiagente «Genera e poi orchestra» genera in parallelo scene candidate e poi ne ottimizza la coerenza narrativa attraverso un’orchestrazione globale. DVSpec offre uno stato condiviso per tre modalità di interazione complementari, collegando l’automazione completa al controllo umano di dettaglio. Le valutazioni su 109 esempi reali mostrano che persino l’LLM più avanzato (per esempio GPT-5) ottiene appena 2,13/5, con tassi di esecuzione riuscita compresi tra il 48,62% e l’86,24%; DataMagic porta la qualità a 3,89 (+83%), con tassi di riuscita superiori al 95% e i miglioramenti più marcati nelle dimensioni dell’animazione e della narrazione. Uno studio con utenti mostra che, rispetto a un flusso di lavoro conversazionale con un LLM, DataMagic rende più efficiente la creazione (riducendo del 79,7% il tempo necessario per svolgere il compito) e riduce il carico cognitivo percepito. Pagina del progetto: https://github.com/HKUSTDial/DataMagic.