3DCodeVerse: esplorare mondi 3D sotto forma di codice

Abstract degli autori

Presentiamo 3DCodeVerse, un ecosistema di ricerca che consente agli agenti di programmazione di creare contenuti 3D modificabili e verificabili su larga scala. 3DCodeVerse comprende dataset di codice 3D eseguibile, ampi e di alta qualità, un’infrastruttura di programmazione per il ragionamento spaziale e la verifica automatizzata, e indicazioni pratiche per la programmazione 3D. Per prima cosa, realizziamo 3DCodeVerse-2M, un ampio dataset curato di codice 3D eseguibile autonomamente. Costruiamo questo corpus raccogliendo dati open source, convertendo rappresentazioni specializzate e generando nuovi programmi con agenti di programmazione. Ogni programma è accompagnato dai file sorgente e dalle risorse associate necessari per eseguirlo nell’ambiente dichiarato, oltre che dalle descrizioni e dai registri delle verifiche disponibili. In secondo luogo, sviluppiamo 3DCodeVerse Harness, un framework multiagente basato su un grafo aciclico diretto per generare e perfezionare contenuti 3D. Utilizza controlli dell’esecuzione, misurazioni spaziali e feedback visivo per valutare e rivedere automaticamente i programmi generati, senza feedback umano durante la generazione. In terzo luogo, conduciamo studi empirici sistematici sulla programmazione 3D, definendo baseline con modelli aperti sottoposti a fine-tuning e ricavando indicazioni pratiche dall’analisi dei singoli componenti della nostra infrastruttura. Ampi esperimenti dimostrano che il fine-tuning sul nostro dataset migliora significativamente le capacità di programmazione 3D dei modelli open source. In particolare, nelle valutazioni umane a coppie, 3DCodeVerse Harness ottiene un tasso di vittoria del 90% rispetto a Claude Design (3D Object), quando entrambi sono utilizzati da Claude Opus 5.5.