ReLift: tracking 3D denso come riparazione di traiettorie ottenute tramite lifting

Abstract degli autori

Il tracking 3D denso da video monoculari richiede di stabilire corrispondenze tra punti nel tempo, stimarne la profondità e dedurne le traiettorie durante le occlusioni. I metodi esistenti in genere apprendono congiuntamente questi compiti, un obiettivo impegnativo data la scarsità di supervisione 4D. Mostriamo che i tracker 2D preaddestrati più efficaci e i modelli geometrici 3D forniscono una base efficace: le traiettorie ottenute tramite lifting, con i segmenti occlusi semplicemente interpolati, rivaleggiano già con i tracker 3D dedicati che usano la stessa geometria. Tuttavia, le traiettorie ottenute tramite lifting ereditano gli errori di corrispondenza e di profondità e, in caso di occlusione, la loro profondità è quella dell’oggetto che occlude, non del punto tracciato. Presentiamo ReLift, un framework efficiente feed-forward che riformula il tracking 3D denso come riparazione e completamento geometrico delle traiettorie. Al suo cuore, un correttore di traiettorie alterna l’attenzione lungo le traiettorie e tra di esse per preservare le osservazioni affidabili, riparare le posizioni compromesse e completare il movimento mancante. L’uso dei soli input geometrici ci permette di addestrare il modello direttamente su traiettorie 3D con errori di lifting simulati, svincolando l’addestramento dalle immagini e da qualsiasi tracker o modello geometrico specifico. Concentrando la supervisione 4D sul perfezionamento delle traiettorie, otteniamo un modello riutilizzabile che migliora sistematicamente le traiettorie ottenute tramite lifting con tracker e fornitori di geometria diversi, senza bisogno di un nuovo addestramento; può così beneficiare direttamente dei progressi futuri in entrambi i componenti. Su WorldTrack, ReLift raggiunge un’accuratezza media all’avanguardia, superando i baseline più efficaci di 2,1 APD su tutti i punti e di 3,0 sui punti dinamici; le configurazioni più veloci restano competitive con i principali tracker 3D, pur funzionando più velocemente di 4RC. Visita la nostra pagina supplementare per altri esempi e il codice.