Real2Gym: creare ambienti di addestramento dai video e trasferire le abilità ai robot

Abstract degli autori

I video del mondo reale offrono ricche dimostrazioni di manipolazione, ma trasformarle in abilità riutilizzabili dai robot richiede ambienti coerenti con le immagini, interazioni fisiche eseguibili e meccanismi per imparare dall’esperienza. Presentiamo Real2Gym, un framework Real2Sim2Real basato su agenti che trasforma le dimostrazioni di esseri umani e robot in ambienti di simulazione interattivi e trasferisce ai robot fisici le abilità acquisite in simulazione. Il modulo Real2Sim ricostruisce scene modificabili, allinea oggetti e telecamere ai dati in ingresso, verifica le azioni dimostrate o adattate a un nuovo robot mediante l’esecuzione con la fisica nativa e genera varianti legate al compito verificando la fattibilità delle azioni. In questi ambienti, l’agente genera codice eseguibile per le fasi di manipolazione, ne osserva gli esiti e ricava dai tentativi riusciti e dai fallimenti procedure riutilizzabili per i compiti, movimenti relativi agli oggetti e strategie di recupero. Attraverso un’interfaccia condivisa di percezione e controllo, queste abilità guidano le esecuzioni successive in simulazione e sui robot reali, adattando i movimenti alle osservazioni correnti senza aggiornare i pesi del modello sottostante. Valutazioni approfondite dimostrano che Real2Gym consente di ricostruire ambienti di simulazione ad alta fedeltà: in questi ambienti supera GPT-6 Astra Direct Mode del 16,7% nel tasso di successo, usando circa il 74,9% di token in meno per l’esecuzione della policy. Su quattro compiti svolti da un robot Franka reale, lo supera inoltre del 33,3% nel tasso di successo dell’esecuzione sul robot fisico.