Pensare visivamente nello spazio e nel tempo: ragionamento ancorato ai dati visivi per la segmentazione video

Abstract degli autori

La segmentazione video basata sul ragionamento (Video Reasoning Segmentation, VRS) richiede a un modello di identificare un bersaglio descritto implicitamente e di prevedere la traiettoria della sua maschera a livello di pixel, risolvendo al tempo stesso le relazioni spaziali e gli eventi temporali che determinano la risposta. La Chain-of-Thought (CoT) basata solo sul testo può spiegare la scelta del bersaglio senza rendere espliciti i riferimenti visivi sottostanti, lasciando un \emph{divario nei riferimenti al video} tra l’inferenza linguistica e le evidenze distribuite tra i fotogrammi. Presentiamo \textbf{Temporal Chain of Video Primitives (TCoVP)}, una forma di Video CoT ancorata nello spazio e nel tempo che organizza le osservazioni pertinenti alla richiesta in una catena di ragionamento cronologica. Ogni primitiva associa un riferimento a un’entità a un supporto temporale e a evidenze spaziali con indicazione del tempo; la catena intreccia questi riferimenti con il linguaggio per guidare il ragionamento su quale entità sia pertinente, quando si verifichi l’evento oggetto della richiesta e dove compaiano le relative evidenze. Le primitive del bersaglio selezionato forniscono quindi prompt basati su riquadri e supporto temporale per prevedere le maschere video. Realizziamo TCoVP-SFT-15k e TCoVP-RL-13k per apprendere questa rappresentazione mediante fine-tuning supervisionato e apprendimento per rinforzo allineato alla catena. Ampi esperimenti su cinque benchmark VRS e tre architetture di base dei modelli dimostrano le elevate prestazioni di TCoVP, mettendo in luce l’efficacia dell’organizzazione delle evidenze spaziali e temporali nel processo di ragionamento. Tutti i modelli e il codice saranno resi pubblici. Pagina del progetto: \url{https://victor-wjw.github.io/TCoVP/}