Apprendere modelli del mondo e dell’azione trasferibili da video di esseri umani abbinati per compito

Abstract degli autori

I modelli del mondo e dell’azione ereditano dal preaddestramento su video conoscenze generali sugli aspetti visivi e fisici. Tuttavia, la predizione standard del fotogramma successivo all’interno dello stesso video permette loro di basarsi sull’aspetto visivo condiviso dal contesto e dai fotogrammi futuri, anziché apprendere interazioni trasferibili tra scene e configurazioni fisiche diverse. Presentiamo WATCH, un metodo di preaddestramento tra video diversi che apprende da dimostrazioni umane abbinate per compito e raccolte in ambienti diversi. Sulla base del video e delle azioni di una dimostrazione, il modello predice congiuntamente le azioni e i fotogrammi futuri di un’altra dimostrazione a partire dall’osservazione attuale di quest’ultima. Predire una dimostrazione a partire da un’altra incoraggia il modello ad apprendere interazioni pertinenti al compito, trasferibili tra scene e persone diverse. Il nostro preaddestramento mostra che queste capacità possono essere apprese usando soltanto coppie di dimostrazioni umane facilmente raccoglibili su larga scala, senza richiedere dimostrazioni umane e robotiche abbinate. Le analisi precedenti al post-addestramento su robot mostrano un migliore allineamento dei movimenti tra configurazioni fisiche diverse e una migliore predizione delle azioni e dei video per robot mai visti, con rappresentazioni più simili a quelle apprese da coppie di robot. Dopo il post-addestramento su robot, WATCH porta il successo in contesto su MimicDroid dal 40,9% al 68,3% con Cosmos Policy e dal 59,8% al 77,7% con Cosmos3, con i miglioramenti maggiori nei livelli mai visti. I miglioramenti persistono anche con un post-addestramento senza contesto su robot con configurazioni fisiche diverse. WATCH supera il preaddestramento all’interno dello stesso video e i metodi di riferimento basati sull’addestramento congiunto, a sostegno della predizione tra video diversi come approccio scalabile per apprendere rappresentazioni trasferibili del mondo e dell’azione.