GreenWAM: un modello fondazionale del mondo per la robotica

Abstract degli autori

Un robot ha bisogno di un modello del mondo che preveda come le sue azioni cambieranno la scena e di una policy che scelga quelle azioni. Di solito i modelli vengono sviluppati e valutati per uno solo di questi ruoli, e ogni robot registra le proprie azioni nel proprio formato. Ci chiediamo se un unico modello del mondo possa svolgere entrambi i ruoli su robot con corpi diversi e che cosa lo renda possibile. Presentiamo GreenWAM, un modello fondazionale del mondo per la robotica, insieme alla procedura per realizzarlo: (1) uno spazio anatomico condiviso delle azioni che descrive 20 famiglie di robot, dai bracci a due mani agli umanoidi dotati di destrezza, usando coordinate articolari comuni; (2) un addestramento congiunto su queste famiglie nelle modalità visiva, condizionata dalle azioni e world-action; e (3) policy che separano un esperto delle azioni dal generatore. Come modello del mondo, GreenWAM ottiene risultati tra i migliori per accuratezza delle traiettorie, della profondità e del 3D su WorldArena 1.0, superando tutti i modelli world-action e i generatori video del nostro confronto. Come policy, si colloca tra le prime posizioni della classifica di RoboTwin 2.0, raggiunge il più alto tasso di successo zero-shot su LIBERO-plus tra i metodi confrontati ed è competitivo con le policy dedicate vision-language-action e world-action su CALVIN e LIBERO. Adattiamo inoltre GreenWAM a un umanoide reale, con cui ottiene successi più spesso delle policy adattate a partire da $π_{0.5}$ e da Cosmos 3 Edge, e lo distilliamo in una policy a passo singolo per il controllo in tempo reale. Gli esperimenti controllati portano a tre conclusioni: la specializzazione per i robot migliora sia la previsione del mondo sia il controllo; separare un esperto delle azioni dal generatore è utile se lo si fa all’inizio dell’adattamento; e mantenere le modalità del modello del mondo durante l’adattamento della policy preserva la robustezza ai cambiamenti della scena.