Apprendimento delle azioni nel mondo mediante guida spettrale latente centrata sull’interazione

Abstract degli autori

L’apprendimento di politiche robotiche di impiego generale richiede grandi quantità di dati raccolti attraverso interazioni nel mondo reale, ma raccogliere dimostrazioni robotiche resta costoso e difficile da ampliare su larga scala. I video egocentrici offrono un’abbondanza di esperienze di interazione umana, con contenuti semantici pertinenti ai compiti di manipolazione robotica. Il trasferimento diretto, tuttavia, presenta due difficoltà: le azioni latenti inferite dalla ricostruzione dei fotogrammi possono essere dominate da variazioni non pertinenti, come il movimento della telecamera egocentrica, e i comportamenti umani e robotici hanno spesso dinamiche temporali diverse. Proponiamo WING (World Action Learning via INteraction-Centric Spectral Latent Guidance), un framework per trasferire ai sistemi di controllo robotico le conoscenze sulle interazioni ricavate dai video egocentrici. WING separa innanzitutto il movimento indotto dall’osservatore dall’interazione tra mano e oggetto e distilla la componente centrata sull’interazione in azioni latenti. Sfrutta poi l’osservazione secondo cui la semantica dei compiti condivisa tra diverse forme corporee si concentra nelle strutture temporali che variano lentamente: individua nel dominio spettrale le componenti condivise a bassa frequenza delle azioni latenti ricavate dai video egocentrici e dei comportamenti robotici e le usa per guidare la generazione delle azioni. WING raggiunge tassi medi di successo del 99,20% su LIBERO, del 93,80% su RoboTwin 2.0 e del 57,7% su RoboCasa-GR1, e ottiene buoni risultati anche in quattro compiti di manipolazione nel mondo reale, in diverse condizioni di generalizzazione. Questi risultati mostrano che la guida spettrale centrata sull’interazione offre un modo efficace e scalabile per trasferire al controllo robotico le conoscenze sulle interazioni fisiche ricavate dai video egocentrici di esseri umani. Pagina del progetto: https://mikuz12.github.io/wing/