Parametric CAD Bench v3: valutazione della creazione agentica di CAD parametrico da testo e disegni tecnici

Abstract degli autori

Produrre uno script CAD eseguibile non basta a dimostrare che un agente abbia soddisfatto una richiesta di progettazione ingegneristica. La valutazione deve considerare anche la geometria risultante, le dimensioni specificate e la cronologia nativa della modellazione CAD. Presentiamo Parametric CAD Bench v3, un benchmark di 100 task composto da 30 task di creazione da testo a CAD, 30 task di creazione e modifica da testo a CAD e 40 task di ricostruzione di componenti meccanici a partire da disegni tecnici. Gli agenti operano in un ambiente FreeCAD con versione fissata e inviano artefatti CAD nativi a un verificatore programmatico separato. La metrica principale è la ricompensa media continua per task, che combina la somiglianza geometrica e la coerenza con le specifiche, anziché limitarsi a valutare il successo binario del task. Uno snapshot del 24 settembre 2026 comprende 13 sistemi composti da modello e agente; Claude Code con Claude Opus 5.5 ottiene la stima puntuale complessiva più alta, pari al 61,03%, e una ricompensa media da immagine a CAD dell’84,66%. Queste misurazioni descrivono sistemi completi, non le capacità di singoli modelli. Rilasciamo task versionati, configurazioni di valutazione e artefatti dei risultati consultabili.