WorldFlow: previsione congiunta di video e movimento 3D tramite preaddestramento su larga scala

Abstract degli autori

Prevedere gli stati fisici futuri è una sfida centrale per l’intelligenza incarnata. Gli attuali modelli del mondo basati su video lasciano implicite le dinamiche 3D, le formulazioni basate sulle azioni restano vincolate a configurazioni robotiche specifiche e i modelli di previsione del movimento 3D si basano solo sulla supervisione del flusso, offrendo un segnale di apprendimento limitato per le dinamiche fisiche. Per superare questi limiti, introduciamo \method{}, un modello generativo del mondo che prevede congiuntamente video futuri e traiettorie 3D basate su query. Rappresentando il movimento 3D come token di spostamento continui allineati alla griglia del video, un backbone unificato Mixture-of-Transformers (MoT) denoisa congiuntamente entrambe le modalità con un obiettivo di flusso rettificato. Questa formulazione combina dinamiche geometriche esplicite ed evoluzione visiva, rendendo così accessibile il senso comune fisico incorporato nei modelli video preaddestrati. Per ampliare empiricamente questa architettura unificata e convalidarla, addestriamo \method{} su una miscela eterogenea di 1,44 milioni di campioni a livello di oggetto, provenienti da domini simulati e del mondo reale. Introduciamo inoltre WorldFlowBench, composto da 1.678 campioni di valutazione provenienti da 11 fonti di dati e relativi a interazioni simulate e del mondo reale, compresi compiti di ragionamento spaziale. In tutti e tre i set di valutazione, WorldFlow ottiene il più basso errore medio di spostamento (ADE) e l’errore di spostamento finale (FDE) tra i metodi di apprendimento valutati. In particolare, nel difficile set SpatialCog, WorldFlow ottiene un ADE di 0,060 m, inferiore del 54,2\% rispetto al baseline esterno più performante. Riduce inoltre l’ADE e l’FDE rispettivamente del 55,9\% e del 68,5\% rispetto alla sua variante basata solo sul flusso. Pagina del progetto: https://worldflow-rbs.github.io/.