EgoXperience: apprendere rappresentazioni egocentriche ancorate al mondo dall’esperienza umana

Abstract degli autori

Ricostruire l’attività umana da video egocentrici richiede più che recuperare singole componenti 3D: il movimento dell’osservatore, la geometria dell’ambiente circostante e le interazioni tra mani e oggetti devono comporre un mondo coerente. Per ottenere questa coerenza servono sia una ricostruzione congiunta sia dati di supervisione allineati, ma i metodi e i dataset esistenti offrono un supporto limitato per entrambi. Presentiamo EgoXperience, un paradigma completo che risponde a queste esigenze attraverso la raccolta dei dati, l’annotazione automatica, la modellazione unificata e la valutazione tramite benchmark. Al centro di EgoXperience c’è EgoX-Engine, un sistema di annotazione automatica che combina il tracciamento degli oggetti verificato geometricamente con l’allineamento al mondo basato su SLAM, producendo dati di supervisione coerenti per la camera, la scena, le mani e gli oggetti. Ne deriva EgoX-Data-6M, un dataset di 50 ore di manipolazione guidata da attività e locomozione all’interno di ambienti chiusi e all’aperto e tra un ambiente e l’altro, con descrizioni delle attività a livello di singolo secondo. Selezioniamo con cura un’ora che copre queste categorie di attività per creare EgoX-Bench e valutare la ricostruzione congiunta. Per tradurre questi dati di supervisione in una ricostruzione, introduciamo EgoX, addestrato con EgoX-Data-6M e con annotazioni complementari provenienti da ulteriori dataset pubblici. A partire da un video egocentrico monoculare e dalle maschere degli oggetti nel primo fotogramma, il nostro modello ottiene una ricostruzione metrica congiunta della camera, della scena, delle mani e degli oggetti in un sistema di coordinate del mondo condiviso, con un’unica passata in avanti. Ampi esperimenti dimostrano prestazioni allo stato dell’arte nella stima della scena e nel recupero delle pose di mani e oggetti nello spazio del mondo. Rispetto ai migliori metodi di riferimento valutati, EgoX riduce gli errori relativi alla camera, alle mani e alla profondità rispettivamente del 68,9%, del 65,6% e del 42,9% e migliora del 28,0% i punteggi relativi alle pose degli oggetti.