Oltre la cronologia: arricchire la memoria dei video lunghi con biografie delle entità ancorate a evidenze visive

Abstract degli autori

Rispondere a domande su video lunghi richiede spesso di collegare eventi che coinvolgono gli stessi oggetti a distanza di ore o giorni. Le descrizioni cronologiche e le entità ricavate dal testo possono lasciare irrisolta l’identità fisica: oggetti diversi possono corrispondere alla stessa descrizione, mentre osservazioni dello stesso oggetto restano scollegate tra un evento e l’altro. Recuperare gli eventi pertinenti, quindi, non significa necessariamente ricostruire la «biografia» della specifica entità a cui si riferisce una domanda. Per affrontare questo problema, presentiamo Grounded Entity Biographies (GEB), un sistema di memoria per video lunghi che raggruppa in biografie consultabili le osservazioni, ancorate a evidenze visive, dello stesso oggetto fisico in diverse clip, preservando il contesto di ciascun momento. Nel rispondere alle domande, la biografia viene recuperata insieme alle evidenze relative ai singoli eventi, consentendo al modello di seguire un’entità attraverso gli eventi grazie ai collegamenti d’identità stabiliti durante la costruzione della memoria. Le valutazioni su quattro benchmark, che comprendono registrazioni della durata di un giorno e di una settimana, mostrano miglioramenti rispetto ai precedenti sistemi di memoria sia nelle risposte a scelta multipla sia in quelle a domande aperte. Su EgoLifeQA, GEB raggiunge un’accuratezza del 72,0%, superiore di 4,4 punti percentuali al miglior risultato pubblicato. Gli studi di ablazione mostrano che sia l’associazione delle identità basata su evidenze visive sia la lettura delle biografie contribuiscono ai miglioramenti, che l’aggiunta di sole descrizioni non consente di ottenere pienamente.