EngiWorld: cosa possono realizzare gli agenti di IA più avanzati negli ambienti professionali dell’ingegneria?

Abstract degli autori

Gli agenti autonomi hanno compiuto rapidi progressi nell’uso di computer per attività generiche, ma l’automazione affidabile dell’ingegneria industriale professionale resta fuori portata: i flussi di lavoro richiedono di ragionare su vincoli geometrici e fisici e su dipendenze da mantenere tra software e fasi di progettazione. Presentiamo EngiWorld, il primo benchmark strutturato attorno all’intero ciclo di progettazione: 1.301 compiti selezionati da esperti, distribuiti in 6 ambiti dell’ingegneria (CAD, CAE, CAM, BIM, EDA e visualizzazione 3D) e 26 piattaforme software professionali, con interfacce sia GUI sia CLI e 6 tipi di compiti, dalla selezione del software ai compiti aperti. Introduciamo inoltre una metodologia di valutazione incentrata sugli artefatti, basata su una suite unificata di verificatori specifici per dominio: la suite controlla programmaticamente la validità geometrica, la fattibilità fisica e la conformità alle regole degli artefatti finali e intermedi, e assegna ai compiti di progettazione quantitativa punteggi continui in base al grado di soddisfacimento delle specifiche, anziché valutarli come semplici successi o insuccessi. La valutazione di sette modelli di frontiera rivela un notevole divario nelle capacità: il modello migliore ottiene un EngiScore di appena 44,3 e solo il 3,6% dei tentativi che coinvolgono più software ha successo. EngiWorld offre la prima base rigorosa per misurare i progressi verso agenti capaci di usare software professionali di ingegneria dall’inizio alla fine.