LMBuild: valutare gli agenti basati su LLM nella generazione di strutture costruibili e funzionali

Abstract degli autori

Gli agenti basati su LLM sono sempre più capaci di generare strutture 3D complesse e potrebbero trasformare il modo in cui gli oggetti vengono progettati e realizzati nel mondo fisico. Ma produrre geometrie eleganti è fondamentalmente diverso dal produrre oggetti che si possano costruire e che svolgano le funzioni previste. Le valutazioni esistenti si concentrano in gran parte sulla qualità geometrica, trascurando la realizzabilità fisica. Presentiamo LMBuild, un benchmark per valutare gli agenti basati su LLM nella generazione di strutture costruibili e funzionali. LMBuild rappresenta gli oggetti generati come strutture assemblate, descritte attraverso la scomposizione in parti, le giunzioni, i materiali e le sequenze. Per consentire valutazioni riproducibili, mettiamo a disposizione un quadro unificato composto da: (1) un ambiente interattivo in cui gli agenti possono usare strumenti per reperire, creare e posizionare componenti con cui costruire oggetti; (2) un benchmark curato che riutilizza dataset CAD consolidati e li arricchisce con conoscenze tratte da Wikipedia; e (3) un sistema di valutazione che prende in esame la solidità strutturale, le affordance funzionali, la qualità della progettazione e la realizzazione fisica. Le valutazioni condotte su 30 sistemi rivelano diversi risultati interessanti: (a) per i modelli a codice chiuso di frontiera, la solidità e l’allineamento non sono più i principali ostacoli, mentre le affordance funzionali e l’operabilità fisica restano problemi molto più difficili; (b) i modelli più potenti creano nuovi componenti con maggiore efficacia, mentre quelli meno potenti tendono ad affidarsi al reperimento di componenti esistenti; e (c) fornire specifiche funzionali migliora notevolmente la completezza delle parti, la cinematica e l’operabilità fisica. Questi risultati mostrano che generare strutture per il mondo reale richiede un ragionamento più approfondito sulle affordance funzionali e sulla meccanica, oltre alla capacità di progettare e creare nuovi componenti. Ci aspettiamo che LMBuild offra una base per misurare i progressi e incentivare la ricerca su agenti capaci di generare strutture costruibili e funzionali.