4DCodeBench: valutare gli agenti nella grafica inversa di scene dinamiche

Abstract degli autori

Presentiamo 4DCodeBench, un benchmark per la grafica inversa 4D mediante la generazione di codice, in cui gli agenti ricostruiscono scene dinamiche a partire da video sotto forma di programmi grafici eseguibili. Per farlo, devono tradurre le osservazioni visive in rappresentazioni compatte della struttura e delle dinamiche della scena, implementando astrazioni come le simulazioni fisiche per riprodurre comportamenti complessi. Per valutare questa capacità, raccogliamo una serie di video del mondo reale e costruiamo scene sintetiche che comprendono diversi fenomeni fisici, tra cui deformazione, flusso dei fluidi e frattura. Sottoponiamo a un’ampia valutazione i modelli di frontiera e constatiamo che solide capacità di ricostruzione statica non si traducono ancora in una ricostruzione affidabile di dinamiche complesse. 4DCodeBench offre un banco di prova per monitorare i progressi verso agenti capaci di interpretare attraverso il codice le dinamiche del mondo. Il nostro benchmark è disponibile all’indirizzo https://github.com/4DCodeBench/4DCodeBench