VFlash: pianificazione visiva rapida e accurata tramite Flash Primitive Decoding

Abstract degli autori

I modelli per compiti di IA fisica, come la robotica e la guida autonoma, non devono ragionare esclusivamente in linguaggio. Possono usare piani visivi — punti, bounding box e traiettorie — per rappresentare obiettivi spaziali e anticipare il movimento. Tuttavia, i modelli autoregressivi visione-linguaggio generano questi piani un token di coordinate alla volta, rendendo sempre più costose le previsioni più articolate. Presentiamo VFlash, un metodo per una pianificazione visiva rapida e accurata tramite Flash Primitive Decoding. VFlash sfrutta la struttura nota dei primitivi visivi per prevederne congiuntamente le coordinate, usando un drafter leggero che genera un primitivo completo con un solo passaggio in avanti. La disposizione si adatta al tipo, alla dimensionalità e alla lunghezza del primitivo, supportando sia box compatti sia traiettorie lunghe e di lunghezza variabile. È fondamentale che la precisione spaziale non richieda di riprodurre esattamente la sequenza di token di un modello autoregressivo. VFlash si addestra quindi su primitivi annotati e accetta direttamente previsioni strutturalmente valide senza richiedere corrispondenza con i token target. Nei compiti valutati di traiettoria robotica 2D e 3D, VFlash riduce costantemente gli errori di previsione rispetto alla decodifica autoregressiva. Misurazioni preliminari su una singola rollout indicano una generazione circa 25 volte più veloce per la previsione del moto di punti 3D. Un world action model condizionato dai piani di VFlash raggiunge un successo medio del 70,2% in quattro suite di attività MolmoSpaces, contro il 62,6% del modello di base.