BrickWright: creazione agentica di costruzioni con mattoncini fisicamente realizzabili

Abstract degli autori

Gli agenti di programmazione di frontiera diventano sempre più abili nella modellazione 3D. Tuttavia, incontrano ancora difficoltà nel creare oggetti destinati a essere assemblati nel mondo fisico: spesso producono costruzioni non valide, con pezzi sospesi, che si intersecano o non collegati tra loro. Sosteniamo che, per consentire agli agenti di produrre costruzioni fisicamente valide e al tempo stesso fedeli ai prompt ricevuti, sia sufficiente fornire loro strumenti per assemblarle e verificarne la realizzabilità fisica. Concentrandoci sulle costruzioni con mattoncini LEGO, presentiamo BrickWright, un framework che usa agenti pre-addestrati per generare costruzioni fisicamente realizzabili a partire da prompt testuali o immagini. Una costruzione è fisicamente realizzabile se usa solo pezzi realmente esistenti, non presenta pezzi che si intersecano o restano sospesi e forma, se possibile, una struttura connessa. BrickWright guida gli agenti nella creazione delle costruzioni facendo scrivere loro codice con BrickLayer, un toolkit Python con due componenti principali: un’API ergonomica per assemblare mattoncini, che dimezza il costo di inferenza rispetto all’uso diretto di LDraw, e un validatore che fornisce riscontri sulla realizzabilità fisica. Mentre gli agenti usati come riferimento raggiungono percentuali di validità fisica comprese tra appena il 9% (GPT-6 Luna) e il 69% (GPT-6 Astra), gli agenti guidati da BrickWright raggiungono il 100% su un campione di 512 prompt, migliorando la fedeltà ai prompt degli agenti più leggeri e mantenendo quella degli agenti più potenti. Inoltre, superano i modelli specializzati nel compito di creare costruzioni con mattoncini a partire da testo. Il codice è disponibile sulla pagina del progetto: https://avalovelace1.github.io/brickwright/