BrickBench: valutare la progettazione agentica con i mattoncini

Abstract degli autori

Proponiamo BrickBench, un benchmark per la progettazione agentica di set LEGO a partire da istruzioni testuali. Dato un prompt, un agente deve produrre una costruzione che non solo soddisfi criteri semantici e progettuali, ma che sia anche fisicamente realizzabile. Per farlo, deve scegliere i pezzi da un catalogo definito e tenere conto insieme dei vincoli locali e globali. Valutiamo validità, aderenza al prompt e qualità del progetto in tre scenari che differiscono per scala e disponibilità dei pezzi. Mettiamo a disposizione BrickAgent, un ambiente in cui gli agenti di programmazione possono costruire, esaminare e convalidare i propri progetti. Osserviamo che gli agenti più avanzati soddisfano in larga misura i requisiti fisici e semantici verificabili, ma restano inferiori ai progetti realizzati da esseri umani. Rendiamo pubblici il benchmark e l’ambiente all’indirizzo http://www.brickben.ch