TouchScale: 500 ore di visione e tatto umani per l’apprendimento visivo-tattile

Abstract degli autori

I dati su larga scala delle interazioni umane riprese in prima persona stanno diventando un’importante fonte di supervisione fisica per l’apprendimento dei sistemi incarnati, ma i soli video non registrano il contatto e la pressione che caratterizzano l’interazione fisica. I recenti dataset visivo-tattili forniscono queste informazioni mancanti, ma il volume dei loro dati tattili sincronizzati resta molto inferiore a quello dei video delle interazioni umane. Inoltre, le risorse più ampie spesso combinano registrazioni ottenute con sensori o procedure di annotazione diversi, rendendo difficile isolare l’effetto della quantità di dati. Presentiamo quindi TouchScale, un dataset di 500 ore di interazioni umane ricche di contatti, registrate con un’unica configurazione indossabile. Le sue circa 2K descrizioni predefinite dei compiti comprendono attività quotidiane e manipolazione strutturata; in ogni registrazione, i video RGB-D in prima persona sono sincronizzati temporalmente con i video RGB del polso e con misurazioni tattili dense dell’intera superficie di entrambe le mani. Rispetto ai dati tattili precedenti, l’addestramento sull’intero TouchScale porta l’IoU del contatto in modalità zero-shot, misurata su dati di un sensore tattile mai visto, da 0,134 a 0,383. Il preaddestramento di un encoder visivo su TouchScale produce inoltre la maggiore accuratezza nel riconoscimento delle azioni su tre benchmark, tra i dataset visivo-tattili confrontati. Usato per una fase intermedia di addestramento visivo-tattile di una policy robotica, TouchScale migliora dal 22,5% al 57,5% il tasso medio di successo nel mondo reale su quattro compiti di manipolazione ricchi di contatti. Mantenendo invariati il sensore e il protocollo di raccolta, sia la previsione tattile zero-shot sia il successo del robot mostrano una tendenza complessivamente crescente all’aumentare dei dati di TouchScale utilizzati. Questi risultati suggeriscono che i dati visivo-tattili umani raccolti su larga scala con sensori impiegati in modo uniforme apportano benefici sia alla percezione sia alla manipolazione robotica. Renderemo pubblico TouchScale, comprese tutte le registrazioni visivo-tattili sincronizzate e i modelli ricostruiti degli oggetti, per sostenere la ricerca futura sull’apprendimento visivo-tattile scalabile.