EgoExplorer: un osservatorio visivo, motorio e tattile della locomozione e della manipolazione umana in situ

Abstract degli autori

L’apprendimento della locomozione e della manipolazione dei robot umanoidi a partire da dimostrazioni umane richiede di osservare come locomozione, postura e interazione con gli oggetti evolvano insieme durante lo svolgimento dei compiti. Per estendere la raccolta dei dati a contesti diversi sono inoltre preferibili sistemi di acquisizione leggeri e portatili. I dataset esistenti, però, offrono solo una visione parziale di questa coordinazione. Presentiamo quindi EgoExplorer, un osservatorio visivo, motorio e tattile di 100 ore dedicato alla locomozione e alla manipolazione umana, realizzato con un sistema indossabile. Incentrate sulle attività professionali, le sue registrazioni continue associano video in prima persona, ricostruzioni del movimento dell’intero corpo, articolazione dettagliata delle dita e osservazioni tattili, accompagnati da descrizioni di ogni passaggio. Per ottenere questa copertura con pochi sensori sul corpo, sviluppiamo la pipeline Calibrate-Complete-Constrain. In particolare, una calibrazione riutilizzabile fissa la geometria corporea dei partecipanti e la posizione dei sensori prima di inferire il movimento, così da distinguere gli scostamenti dovuti al montaggio dall’articolazione. Un modello temporale a priori ricostruisce poi il movimento delle articolazioni non osservate, mentre vincoli stratificati favoriscono la concordanza con le misurazioni, la continuità temporale e la coerenza geometrica: proprietà che la sola plausibilità del movimento non garantisce. Rispetto a riferimenti ottenuti adattando il movimento ai dati dei tracker, il metodo riduce l’errore sui punti del corpo del 71,9% rispetto al miglior metodo di riferimento; valutazioni condotte nelle stesse condizioni mostrano miglioramenti anche nella stabilità delle mani e nella stima del contatto. Studi preliminari esplorano la generazione e il condizionamento multimodali, insieme al retargeting su umanoidi con controllo dell’intero corpo in simulazione.