VITAL: dal movimento visivo all’azione precisa

Abstract degli autori

I modelli world-action mirano a trasformare l’anticipazione visiva in decisioni di guida, ma in genere addestrano i modelli specializzati per le azioni su rappresentazioni delle traiettorie definite indipendentemente dalla dinamica visiva. Questo ci porta a ricavare gli obiettivi per le azioni direttamente dal movimento visivo. Esaminiamo anzitutto un caso più semplice, in cui le traiettorie vengono ricostruite a partire da immagini future registrate. Anche senza dover prevedere il futuro, la ricostruzione coglie la manovra principale, ma lascia errori dell’ordine dei centimetri. Introduciamo quindi VITAL (Vision-Induced Tokens for Action Learning), un tokenizer delle azioni che abbina a una struttura del movimento ricavata visivamente una rappresentazione residua compatta, che codifica l’errore di traiettoria lasciato da quella struttura. Questa rappresentazione fa del movimento visivo l’obiettivo principale della previsione e assegna alle piccole correzioni metriche una scala di apprendimento separata e normalizzata. Usando il flow matching, il modello specializzato per le azioni prevede congiuntamente entrambe le componenti a partire dall’immagine corrente, dallo stato del veicolo e dal comando di navigazione, senza generare immagini future durante l’inferenza. Le stesse coordinate residue consentono un post-addestramento per rinforzo con vincoli, che affina l’esecuzione mantenendo fissa la struttura visiva prevista. Con un solo passaggio di denoising delle azioni, VITAL ottiene 90,8 PDMS su NAVSIM v1 navtest, a 0,13 punti dal punteggio ottenuto con dieci passaggi e con una velocità di inferenza end-to-end 3,29 volte superiore. Senza riaddestramento, ottiene 91,1 EPDMS su NAVSIM v2 navtest e 38,6 su navhard. Pagina del progetto: https://worldbench.github.io/vital