CodeCap-Bench: il codice può essere una buona didascalia per i video?

Abstract degli autori

La creazione di didascalie per i video mira a preservare le informazioni visive attraverso descrizioni concise, prevalentemente in linguaggio naturale. Tuttavia, descrivere con precisione strutture spaziali dettagliate e dinamiche temporali in linguaggio naturale richiede spesso testi lunghi e potenzialmente ambigui. In questo lavoro esploriamo Code as Video Caption, un paradigma in cui programmi eseguibili offrono una rappresentazione complementare del contenuto visivo attraverso primitive grafiche, regole di layout e funzioni del tempo. Per verificare se le didascalie in codice preservino efficacemente le informazioni dei video, le confrontiamo con didascalie in linguaggio naturale in compiti di risposta a domande e ricostruzione dei video. I nostri risultati mostrano che le didascalie in codice raggiungono una maggiore accuratezza nel ragionamento e una maggiore fedeltà nella ricostruzione. Nonostante questi vantaggi, la possibilità di sfruttare il potenziale delle didascalie in codice dipende dalla capacità degli attuali modelli linguistici multimodali di grandi dimensioni (MLLM) di generare didascalie in codice fedeli. Per valutare sistematicamente questa capacità, presentiamo CodeCap-Bench, che comprende 323 video appartenenti a cinque categorie di contenuti 2D strutturati, insieme ad annotazioni dettagliate e a un sistema di valutazione multilivello. Esperimenti approfonditi rivelano che, sebbene i principali MLLM proprietari mostrino capacità promettenti nella creazione di didascalie in codice, faticano ancora a cogliere fedelmente le dinamiche temporali complesse, mentre i modelli open source restano notevolmente indietro.