Indagine sul comportamento insensibile alle query nella localizzazione spazio-temporale nei video

Abstract degli autori

La localizzazione spazio-temporale nei video (STVG) mira a individuare, nello spazio e nel tempo, oggetti o eventi descritti da query in linguaggio naturale. I modelli STVG esistenti vengono generalmente addestrati e valutati assumendo che ogni query sia pertinente al video in esame. In questo lavoro mettiamo in discussione tale ipotesi studiando il comportamento dei modelli STVG più avanzati in presenza di query non pertinenti o in assenza di input testuale. I nostri esperimenti mostrano che i modelli attuali possono produrre previsioni spazio-temporali plausibili anche quando la query non ha alcuna relazione con il video o viene eliminata del tutto. Analizziamo inoltre HCSTVG-v2 e VidSTG per individuare regolarità nei dataset che potrebbero favorire questo comportamento insensibile alle query. Il nostro studio mette in luce un limite poco esplorato dei modelli STVG e suggerisce l’adozione di protocolli di valutazione che tengano conto dei casi negativi e di architetture che valutino esplicitamente la pertinenza delle query.