SimVTA: allineamento tra video e traiettorie basato sulla simulazione per i modelli di azione del mondo per la guida

Abstract degli autori

I modelli di azione del mondo per la guida (WAM) apprendono da coppie di traiettorie e osservazioni future. L’addestramento successivo con apprendimento per rinforzo consente alla politica di esplorare traiettorie alternative e migliorare la pianificazione in base alle ricompense di guida. Tuttavia, i dati di guida registrati contengono video futuri solo per le traiettorie registrate, lasciando queste alternative prive di una corrispondente supervisione video. Presentiamo quindi SimVTA, un framework di addestramento successivo basato sulla simulazione che combina l’ottimizzazione delle traiettorie con la supervisione video. Per prima cosa, campioniamo traiettorie candidate per ogni osservazione e usiamo un simulatore del mondo reale (per esempio World Engine) per generare video futuri per le candidate con ricompensa elevata, in scene del mondo reale ricostruite con 3D Gaussian Splatting (3DGS). Otteniamo così una supervisione corrispondente alle traiettorie, indipendente dalle previsioni del modello stesso. Con un budget limitato per la generazione dei video, diamo priorità alla supervisione video per gli scenari futuri con errori maggiori tra quelli generati per queste candidate. Infine, ottimizziamo la pianificazione delle traiettorie con Group Relative Policy Optimization (GRPO) e usiamo una funzione di perdita di flow matching sui video corrispondenti per aggiornare le rappresentazioni condivise. In fase di inferenza, il modello prevede direttamente le traiettorie, senza chiamare il simulatore. Su NAVSIM v1, l’applicazione di SimVTA a un’inizializzazione WAM migliora il PDMS da 86,2 a 91,3 (+5,1). Ottiene un EPDMS di 88,2 su NAVSIM v2 e un HD-Score medio di 38,8 nella valutazione a ciclo chiuso su HUGSIM. Gli studi di ablazione mostrano che aggiornare le rappresentazioni condivise con la supervisione video migliora la pianificazione, mentre dare priorità agli scenari futuri con errori maggiori tra le traiettorie con ricompensa elevata migliora ulteriormente le prestazioni.