Il target è un predicato: segmentazione video per il ragionamento semantico a livello di predicato

Abstract degli autori

In questo paper introduciamo Predicate-State Video Reasoning Segmentation (PS-VRS), in cui una query definisce un predicato dinamico $P(o,t)$ su oggetti e tempo, anziché un’identità fissa dell’oggetto. I metodi esistenti in genere trattano il target come permanentemente attivo una volta identificato, portando a un’emissione eccessiva di maschere durante gli intervalli di assenza e all’incapacità di gestire il passaggio da un target all’altro. Per rispondere a questo problema, realizziamo PS-Bench, un benchmark su larga scala con 2.077 video e 16.250 query annotate con stati espliciti del predicato, attivo o assente, intervalli temporali e maschere di pixel. Proponiamo inoltre Predicate-State Grounding (PSG), una pipeline State-Bind-Emit che: (1) predice token di stato [ACTIVE]/[VACANT]; (2) li allinea ai fotogrammi del video tramite una similarità multimodale densa; e (3) produce maschere con SAM2 solo per gli stati attivi. Gli esperimenti mostrano che PSG supera le baseline esistenti di +9,32 J&F su PS-Bench e riduce significativamente l’emissione di maschere con falsi positivi. I nostri risultati dimostrano l’efficacia della modellazione esplicita degli stati del predicato per la segmentazione video per il ragionamento con testimoni visivi dinamici.