3D-VITAL: addestramento dell’identità consapevole della visibilità mediante lifting artificiali di un modello di ricostruzione 3D per la reidentificazione di oggetti tra viste diverse

Abstract degli autori

Affrontiamo il problema della reidentificazione di oggetti tra viste diverse (ReID), con l’obiettivo di riconoscere la stessa identità da punti di vista radicalmente differenti. Ci concentriamo sulla reidentificazione aereo-terrestre da una singola vista (SV AG-ReID), in cui i modelli vengono addestrati su un solo punto di vista e devono generalizzare a un altro in fase di inferenza. Per colmare questa differenza tra punti di vista, i lavori precedenti impiegano modelli generativi per sintetizzare nuove viste a partire dalle immagini sorgente e usarle come dati di addestramento aggiuntivi. Sfruttiamo i recenti progressi nella ricostruzione su larga scala di mesh 3D da una singola vista per trasformare le immagini sorgente in mesh dotate di texture e renderizzarle da nuovi punti di vista. Questa procedura, tuttavia, produce dati inaffidabili in due modi distinti. In primo luogo, la ricostruzione può fallire e generare mesh dalla geometria errata, causando gravi alterazioni nelle nuove viste renderizzate. In secondo luogo, anche quando la geometria è corretta, le nuove viste renderizzate contengono texture allucinate nelle regioni non visibili nell’immagine sorgente. La mesh ricostruita consente di distinguere, per ciascun pixel, le regioni visibili dalla vista sorgente da quelle che il modello di ricostruzione ha dovuto allucinare: questa suddivisione è disponibile come risultato collaterale deterministico del rendering. Introduciamo questa mappa di visibilità per pixel e la sfruttiamo in un metodo a due fasi. Il Cross-View Consistency Filtering (CVCF) scarta le mesh dalla geometria errata verificando la coerenza multivista tra la vista sorgente e le nuove viste nelle patch visibili. La Visibility-Aware Attention Supervision (VAAS) usa la mappa di visibilità per orientare l’attenzione del modello verso le regioni affidabili della vista renderizzata durante l’addestramento. Insieme, questi due componenti permettono al nostro metodo, 3D-VITAL, di sfruttare meglio il segnale sintetico ottenuto dalla ricostruzione di mesh 3D da una singola vista. 3D-VITAL stabilisce un nuovo stato dell’arte su tre benchmark di SV AG-ReID. Il codice e i dati saranno resi disponibili all’indirizzo https://github.com/TurtleSmoke/3D-VITAL.