Event-STVG: localizzazione spazio-temporale nei video per il ragionamento sugli eventi nei video lunghi

Abstract degli autori

La localizzazione spazio-temporale nei video (STVG) mira a individuare un bersaglio sia nello spazio sia nel tempo a partire da una richiesta in linguaggio naturale. Nonostante i continui progressi, i benchmark STVG esistenti restano in gran parte incentrati sulla localizzazione dei bersagli tramite descrizioni specifiche delle singole istanze e rimangono quindi perlopiù scollegati dal ragionamento su contenuti lunghi, a cui i modelli linguistici multimodali di grandi dimensioni (MLLM) attribuiscono sempre più importanza. In questo articolo presentiamo Event-STVG, un compito che sposta l’attenzione della STVG dalla ricerca di ciò che viene descritto al ragionamento a livello di evento, combinando contesto di lunga durata, ragionamento su eventi ripetuti, localizzazione degli eventi, inferenza dei ruoli e localizzazione di più bersagli. Per favorire la ricerca su Event-STVG, realizziamo un benchmark su larga scala che comprende 4.016 occorrenze di eventi annotate, relative al calcio e a sette altri ambiti. Gli esperimenti con MLLM allo stato dell’arte rivelano notevoli difficoltà: il modello migliore raggiunge appena il 5,4% di m-vIoU su un orizzonte di 10 minuti. In tutti gli ambiti osserviamo sistematicamente confusione tra eventi ripetuti dello stesso tipo, difficoltà nella localizzazione spaziale e solo rari casi in cui vengono localizzati congiuntamente tutti i ruoli richiesti. Event-STVG pone una nuova sfida alla comprensione visiva degli MLLM e richiede modelli futuri capaci di ragionare congiuntamente su eventi complessi nello spazio e nel tempo. Il codice e le annotazioni sono disponibili all’indirizzo https://github.com/THU-KEG/EventSTVG