Sfruttare la semantica testuale per una corrispondenza robusta degli oggetti tra viste

Abstract degli autori

La corrispondenza tra oggetti in viste diverse (CVOC) mira a stabilire associazioni dello stesso oggetto bersaglio tra video di query e video di ricerca ripresi da punti di vista diversi. I metodi esistenti si basano spesso su indizi visivi per la CVOC. Nonostante i recenti progressi, questi metodi faticano ad affrontare scenari complessi con notevoli cambiamenti del punto di vista e variazioni dell’aspetto, perché non dispongono di informazioni sufficienti sul bersaglio. Per affrontare questo problema, introduciamo TeSCo, un framework che sfrutta la ricca semantica testuale di un oggetto, oltre ai suoi indizi visivi, per stabilire corrispondenze tra oggetti in viste diverse. La nostra intuizione fondamentale è che la descrizione testuale di un bersaglio, cogliendo attributi diversi come categoria, trama e colore, fornisce una semantica invariante rispetto al punto di vista e all’aspetto, complementare agli indizi visivi e quindi in grado di migliorare la robustezza della corrispondenza in scene complesse. Seguendo questa intuizione, TeSCo genera innanzitutto un’espressione testuale del bersaglio a partire dalla vista di query fornita, usando un modello visione-linguaggio, e poi estrae una caratteristica testuale per potenziare le caratteristiche visive ai fini della localizzazione nella vista di ricerca. A tal fine, introduciamo un modulo di fusione cross-modale condizionata dal testo (TCF), che integra la caratteristica testuale nelle caratteristiche visive tramite una modulazione guidata dal testo, producendo una rappresentazione multimodale del bersaglio più robusta per la corrispondenza tra oggetti. Poiché, nel fotogramma corrente della vista di ricerca, non tutti gli indizi testuali sono ugualmente compatibili con il bersaglio, proponiamo un modulo di raffinamento iterativo delle caratteristiche testuali (ITFR), che le modifica progressivamente usando le informazioni della vista di ricerca prima del modulo TCF. In questo modo, la semantica testuale consapevole della vista di ricerca può essere fusa nelle caratteristiche visive, portando a prestazioni migliori. In numerosi esperimenti su Ego-Exo4D e HANDAL-X, TeSCo raggiunge risultati allo stato dell’arte e supera nettamente gli altri modelli, confermando la propria efficacia. Il nostro codice è disponibile all’indirizzo https://github.com/VAIL-Fan/TeSCo.