Recursive Code World Models: costruire mondi complessi attraverso programmi di scena ricorsivi

Abstract degli autori

I modelli di mondo basati sul codice rappresentano i mondi come programmi eseguibili, ma questa rappresentazione, da sola, non stabilisce come costruire un mondo complesso. Presentiamo Recursive Code World Models (RCWM), un framework per ricostruire nel codice mondi 3D complessi a partire da un’unica immagine di riferimento. RCWM combina una rappresentazione Recursive Scene Program (RSP) con un solver che richiama ricorsivamente sé stesso. Un RSP rappresenta il mondo eseguibile come codice di scena composizionale, mentre ogni chiamata al solver segue lo stesso processo completo: definire l’insieme, ricostruire ricorsivamente le parti ancora irrisolte e tornare sull’insieme per perfezionarne la composizione. Questa ricorsione globale-locale-globale dà alle strutture su scala fine cicli propri di percezione e modifica, preservando al contempo la geometria e le relazioni dell’intera scena. Le viste allineate all’immagine di riferimento propagano la stessa proiezione della fotocamera tra i livelli, mentre il riesame del livello padre interviene sui confini, sulle relazioni spaziali e sugli errori condivisi che emergono dopo il perfezionamento locale. Un agente di programmazione basato su visione e linguaggio confronta direttamente le immagini di riferimento con le immagini generate dalla scena per guidare il perfezionamento, la discesa ricorsiva e il ritorno. Nelle scene complesse, RCWM supera i precedenti metodi di ricostruzione di scene a partire da immagini basati sul codice. Gli studi di ablazione confermano inoltre i vantaggi della costruzione ricorsiva e suggeriscono che chiamate a livelli più profondi possano migliorare la ricostruzione su scala più fine. RCWM offre un principio di costruzione ricorsiva per creare mondi eseguibili complessi a partire da informazioni visive.