PrimeSim: un simulatore generalista di modelli del mondo basato su dimostrazioni su larga scala tra diverse morfologie robotiche

Abstract degli autori

Un modello del mondo per robot che funge da simulatore deve fare più che generare video plausibili: deve seguire fedelmente le azioni impartite, mantenere la coerenza tra diverse inquadrature e sostenere rollout coerenti su orizzonti temporali lunghi. Presentiamo PrimeSim, un simulatore basato su un modello del mondo condizionato dalle azioni e multi-vista, che affronta queste sfide attraverso un addestramento intermedio e un post-addestramento progressivi. Partendo da un generatore di video preaddestrato, lo addestriamo ulteriormente su 30.110 ore di dimostrazioni robotiche che coprono 22 piattaforme. Per migliorare la capacità di seguire le azioni, introduciamo una rappresentazione unificata delle azioni tra diverse morfologie robotiche e un condizionamento a doppio percorso allineato ai fotogrammi, per rafforzare la corrispondenza tra azioni e fotogrammi. Per mantenere la coerenza tra le viste, sviluppiamo un’attenzione intercalata sensibile alla vista, con identità delle telecamere esplicite, che consente lo scambio di informazioni tra le viste preservando le rappresentazioni specifiche di ciascuna vista. Introduciamo inoltre un framework di post-addestramento con video rapido e memoria lenta, che trasforma il generatore di video bidirezionale in un simulatore autoregressivo efficiente. Combinando generazione causale rapida, addestramento su rollout autogenerati e memoria temporale gerarchica, PrimeSim attenua l’accumulo degli errori dovuto alle cronologie generate autonomamente e consente simulazioni coerenti su orizzonti temporali lunghi. PrimeSim opera a 10,1 FPS, rimane stabile nei rollout di lungo orizzonte su compiti di manipolazione di oggetti rigidi e deformabili e si trasferisce a piattaforme non viste durante l’addestramento in 100-200 passi di gradiente, mentre il backbone preaddestrato non riesce a farlo. Nel confronto con cinque modelli del mondo open source condizionati dalle azioni, PrimeSim primeggia in quattro delle cinque suite WorldSimProbe e ottiene il miglior punteggio complessivo su EWMBench, sebbene la calibrazione locale di dettaglio resti indietro rispetto agli altri sistemi; i suoi rollout sono abbastanza fedeli da supportare l’ottimizzazione di policy basata su GRPO. Rilasciamo i pesi del modello, il codice per l’inferenza e il codice per l’addestramento.