MotorSense: un dataset video-EMG di rappresentazioni motorie per la comprensione delle azioni

Abstract degli autori

I modelli di visione artificiale apprendono le azioni della mano solo dalle loro conseguenze visive, senza accedere ai sottostanti segnali motori incarnati. Colmiamo questa lacuna con MotorSense, il primo dataset su larga scala che abbina video egocentrici ed elettromiografia di superficie (EMG). MotorSense abbina fasce EMG bimanuali a video egocentrici e fornisce flussi sincronizzati di video, EMG bimanuale e IMU, oltre all’audio, per 100 ore di manipolazione non sceneggiata. L’EMG offre un’alternativa potente e scalabile all’annotazione manuale: rileva i movimenti delle dita, la configurazione della mano e le forze esercitate tra la mano e l’ambiente sotto forma di un segnale denso, privo di occlusioni e di bias degli annotatori, mentre l’annotazione manuale è costosa, soggettiva e inaffidabile in presenza di occlusioni. Usiamo MotorSense per apprendere l’allineamento sensomotorio, ottenendo, attraverso il pre-addestramento multimodale di video ed EMG, un’organizzazione delle azioni condivisa dagli spazi visivo e motorio. I modelli di visione così ottenuti vengono poi trasferiti a compiti a valle che traggono beneficio dall’allineamento sensomotorio: in questo caso, il riconoscimento delle azioni, la ricostruzione 3D della mano e la ricostruzione 3D dei contatti. Dimostriamo inoltre un’applicazione generativa in cui i segnali motori EMG vengono usati per condizionare un modello di diffusione video, generando video di manipolazioni manuali dettagliate. In quattro compiti di visione artificiale incentrati sull’azione e otto diffusi dataset video, dimostriamo che l’allineamento sensomotorio offre basi più solide per l’apprendimento di rappresentazioni visive rispetto ai metodi convenzionali di apprendimento autosupervisionato sui video, superando ogni baseline in tutti i compiti e i dataset valutati.