Il codice come mondo: scoperta agentica di rappresentazioni eseguibili del mondo per il ragionamento fisico

Abstract degli autori

La comprensione e il ragionamento fisico dipendono dalla capacità di formare rappresentazioni compatte e generalizzabili del mondo. Sebbene i moderni modelli visivo-linguistici sappiano riconoscere e spiegare diversi eventi fisici, spesso non dispongono di rappresentazioni esplicite dei meccanismi sottostanti — come gli stati degli oggetti, i parametri fisici e le dinamiche che li governano — necessarie per ragionare in modo affidabile su come il mondo si evolve e risponde agli interventi. In questo lavoro presentiamo Code-as-World, un paradigma che rappresenta i mondi fisici attraverso rappresentazioni eseguibili del mondo. Esprimendo la composizione fisica, l’evoluzione dinamica e l’aspetto visivo sotto forma di codice eseguibile, Code-as-World offre un’astrazione compatta, fondata su basi quantitative e controllabile del mondo fisico. Per costruire queste rappresentazioni a partire da osservazioni multimodali, come descrizioni in linguaggio naturale o video del mondo reale, sviluppiamo un ciclo di scoperta agentica ispirato al ragionamento abduttivo, in cui un agente propone ipotesi eseguibili sul mondo, le esegue, ne produce una rappresentazione visiva, le verifica e le perfeziona iterativamente. Come applicazione concreta, usiamo mondi eseguibili verificati per fornire una supervisione fisica scalabile nell’addestramento di modelli visivo-linguistici al ragionamento fisico quantitativo. Gli esperimenti mostrano che Code-as-World-VL raggiunge prestazioni allo stato dell’arte su QuantiPhy e supera i principali modelli proprietari, evidenziando il potenziale delle rappresentazioni eseguibili del mondo come fondamento scalabile per l’intelligenza fisica.