CADWorld: benchmark per l’uso del computer nella progettazione assistita da computer a lungo orizzonte

Abstract degli autori

Gli agenti per l’uso del computer vengono valutati sempre più spesso in ambienti desktop realistici, ma i benchmark esistenti coprono in misura limitata i flussi di lavoro dell’ingegneria professionale, i cui risultati sono artefatti persistenti e strutturati. La progettazione meccanica assistita da computer (CAD) è un ambito particolarmente impegnativo: un agente deve manipolare geometrie e vincoli nel corso di interazioni prolungate, producendo al contempo un progetto nativo con dimensioni, struttura costruttiva e stato ingegneristico a valle validi. Presentiamo \textbf{CADWorld}, un benchmark per l’uso del computer su orizzonti temporali lunghi in FreeCAD. CADWorld comprende 200 attività distribuite in 11 categorie di flussi di lavoro per il CAD meccanico, tra cui schizzi, modellazione di parti, assemblaggio, CAM, FEM, misurazioni, elaborazione di mesh e disegno tecnico. Gli agenti operano tramite schermate e azioni nell’interfaccia grafica, mentre il successo viene determinato da verifiche eseguibili specifiche per ciascuna attività, condotte sugli artefatti FreeCAD salvati e sugli output ausiliari, e riguardanti proprietà geometriche, struttura parametrica, vincoli, stato di fabbricazione e risultati delle simulazioni. Sui sette agenti attuali valutati sull’intero benchmark, il migliore raggiunge un tasso di successo del 17,5%, a fronte dell’87,0% ottenuto come riferimento da esperti. Rileviamo che gli agenti meno efficaci spesso falliscono prima di produrre un artefatto valido, mentre quelli più efficaci falliscono sempre più spesso sui requisiti strutturali, geometrici e relativi al processo costruttivo. CADWorld mette quindi in luce il divario tra la competenza generale nell’uso delle interfacce grafiche e l’esecuzione affidabile di flussi di lavoro ingegneristici persistenti e verificabili. Il progetto è disponibile all’indirizzo https://cad-world.github.io.