ExeWorldBench: un benchmark per la modellazione di mondi 3D eseguibili basata sul codice

Abstract degli autori

Gli agenti di programmazione si stanno evolvendo sempre più: dalla riproduzione dell’aspetto di un mondo passano alla costruzione di mondi eseguibili che ne rispecchiano il funzionamento. Questo cambiamento richiede la modellazione di mondi eseguibili, che integra due capacità fondamentali: la comprensione del mondo, cioè il ragionamento sui principi strutturali, meccanici e causali che lo governano, e la realizzazione eseguibile, che traduce tale comprensione in un sistema basato sul codice il cui comportamento emerge dalle interazioni fisiche. I benchmark esistenti, tuttavia, offrono solo valutazioni frammentarie, incentrate sul ragionamento fisico, sulla fedeltà visiva o sulla correttezza del comportamento, e non valutano a sufficienza l’integrazione di queste capacità. Per colmare questa lacuna, presentiamo ExeWorldBench, a nostra conoscenza il primo benchmark che valuta in modo completo la comprensione del mondo e la realizzazione eseguibile attraverso la costruzione di mondi 3D basata sul codice. ExeWorldBench comprende tre compiti di difficoltà crescente: Mechanism Executability, che valuta la realizzazione di singoli meccanismi a partire da osservazioni visive; Compositional Executability, che estende la valutazione a sistemi a più fasi con dipendenze spaziali, meccaniche e causali; e Intent-Driven Executable World Synthesis, che richiede di costruire mondi eseguibili a partire da obiettivi di alto livello e requisiti fisici. Esperimenti approfonditi su modelli di frontiera rivelano limiti sostanziali nella modellazione di mondi eseguibili e offrono indicazioni per sviluppare sistemi di costruzione di mondi più fondati sulla fisica e coerenti sul piano causale.