SimForcing: distillare le conoscenze a priori sul movimento dalla simulazione nei modelli del mondo robotico nel dominio reale

Abstract degli autori

I modelli del mondo robotico condizionati dalle azioni devono rispondere con precisione alle traiettorie dei robot e, al tempo stesso, preservare dinamiche visive realistiche. Apprendere entrambe le capacità da video eterogenei di robot, però, resta difficile. La simulazione offre una supervisione strutturata del movimento, ma le differenze nell’aspetto visivo ostacolano il trasferimento diretto e previsioni di simulazione inaccurate possono fuorviare la generazione di video realistici. Presentiamo SimForcing, un framework guidato dalla simulazione che la usa sia come fonte di conoscenze trasferibili sul movimento sia come riferimento controllabile per le previsioni. Per prima cosa, trasferiamo le conoscenze sul movimento da un modello insegnante addestrato in simulazione attraverso la distillazione del movimento latente, allineando i cambiamenti temporali nello spazio latente per interiorizzare le conoscenze a priori sul movimento e attenuare l’influenza delle differenze nell’aspetto visivo. Introduciamo poi un condizionamento tramite simulazione a più blocchi, con dropout delle condizioni, per sfruttare le traiettorie previste dalla simulazione senza dipendere eccessivamente dalla loro accuratezza. Il nostro schema di guida senza classificatore basata sul condizionamento tramite simulazione unifica queste due idee, bilanciando le previsioni fondate sulle conoscenze interiorizzate sul movimento con quelle ulteriormente guidate dalle rappresentazioni latenti della simulazione. Il modello studente, addestrato congiuntamente, genera sia le condizioni di simulazione sia video nel dominio reale, senza richiedere un ulteriore modello del mondo in fase di inferenza. Su Bridge, SimForcing ottiene i migliori risultati per PSNR, SSIM, LPIPS e FVD tra i metodi confrontati, senza preaddestramento esterno per l’IA incarnata. La valutazione su InternData-A1 ne conferma ulteriormente l’applicabilità a diversi dataset di robot. Inoltre, usare il nostro modello del mondo addestrato per inizializzare un modello visione-linguaggio-azione migliora il successo su LIBERO, suggerendone l’utilità per l’apprendimento successivo delle politiche di controllo. \url{https://github.com/Wang-Xiaodong1899/SimForcing}