DirCast: regia e telecronaca degli esport in diretta con un unico modello video-linguistico in streaming

Abstract degli autori

Una trasmissione di esport in diretta richiede un regista che scelga quale telecamera mandare in onda e un telecronista che commenti quella scelta, secondo dopo secondo, senza sapere che cosa accadrà. I modelli video-linguistici in streaming hanno imparato a fare la telecronaca, ma solo di trasmissioni già realizzate da un regista umano. Studiamo la produzione di una diretta in cui un modello riceve le riprese grezze delle telecamere di tutti i giocatori e deve curare sia la regia sia la telecronaca basandosi soltanto su ciò che è già accaduto. Presentiamo DirCast, un unico modello video-linguistico in streaming che svolge entrambi i compiti. Ogni secondo esamina tutte le telecamere a bassa risoluzione, decide se mantenere l’inquadratura o passare a un’altra e quale scegliere, poi esamina ad alta risoluzione la telecamera selezionata prima di parlare. Il suo contesto conserva ciò che è andato in onda e ciò che è stato detto, mentre le altre inquadrature scadono: questo pone un limite al costo di uno streaming di qualsiasi durata. Abbiamo creato un dataset di 27 partite professionistiche di Dota 2 con una telecamera per ogni eroe, le scelte del regista umano e la telecronaca. La regia di DirCast supera quella dei sistemi di regia basati su regole e di quelli zero-shot, tra cui GPT-5. Secondo il protocollo Proact-VL, la sua telecronaca prevale nel 29,2 per cento dei confronti con GPT-4o, contro il 19,4 per cento del migliore fra undici telecronisti in streaming che seguono la trasmissione realizzata dal regista umano.