Apprendere il mondo 4D attraverso la previsione delle traiettorie dei punti

Abstract degli autori

Per essere affidabile, la previsione da più punti di vista richiede che i video ripresi da telecamere diverse descrivano la stessa scena 3D mentre si evolve. A questo scopo presentiamo Video-Point Model (VPM), un modello del mondo che usa come input sequenze video precedenti riprese da più punti di vista e un’istruzione linguistica per prevedere congiuntamente video futuri da punti di vista arbitrari e le traiettorie 3D di punti persistenti della scena. Estendiamo un modello del mondo preaddestrato con un’elaborazione multivista condizionata dalle telecamere, che integra osservazioni complementari provenienti da telecamere diverse, e aggiungiamo una componente per le traiettorie che predice come si muovono nel tempo i punti fisici. Ogni traiettoria segue un singolo punto attraverso tutte le riprese: supervisionare queste traiettorie insieme alla generazione video àncora quindi i cambiamenti d’aspetto in ciascuna telecamera a una descrizione condivisa del movimento 3D. Per consentire l’addestramento e la valutazione, creiamo VPM-Data, un corpus di simulazioni che associa video sincronizzati da più punti di vista a traiettorie di punti persistenti, e VP-WorldBench, un benchmark per la previsione che comprende ambienti simulati e reali. Estendiamo inoltre VPM al controllo robotico aggiungendo le azioni del robot come modalità di token nel generatore. I token delle azioni condividono il backbone supervisionato tramite i punti e vengono sottoposti a denoising insieme ai video futuri, ancorando così la politica di controllo alla stessa rappresentazione consapevole della struttura 3D. Su VP-WorldBench e sui benchmark già esistenti per la generazione 4D, la supervisione tramite i punti migliora sia la fedeltà dei video sia l’accuratezza del movimento 3D rispetto a una versione basata solo sui video; negli esperimenti simulati e con robot reali, aumenta anche il successo nelle operazioni di manipolazione del modello abilitato alle azioni.