SimuVerity: valutare gli agenti nella generazione di modelli Simulink di livello ingegneristico

Abstract degli autori

I benchmark Simulink esistenti valutano soprattutto se i modelli generati si compilano, sono eseguibili o somigliano a un modello di riferimento. Questi criteri non stabiliscono se un modello soddisfi i requisiti ingegneristici. Presentiamo SimuVerity, un benchmark di 101 compiti di generazione, a partire da testo, di modelli Simulink eseguibili in dieci ambiti ingegneristici. Per ogni compito, i profili dei sistemi eseguibili costituiscono la base della specifica ingegneristica e di quattro famiglie di scenari di simulazione nativi. Un valutatore gerarchico verifica prima la consegna degli artefatti, l’eseguibilità nativa e la qualificazione ingegneristica, poi assegna ai modelli qualificati un punteggio in sei dimensioni: accuratezza, qualità dell’output, fedeltà ai meccanismi, integrità del controllo e dei nessi causali, robustezza nel dominio operativo e risposta dinamica. Valutiamo sei sistemi di agenti con SimuVerity. Il sistema migliore ottiene un punteggio complessivo di appena 42,86. I risultati mostrano che la somiglianza strutturale è un indicatore poco affidabile delle prestazioni ingegneristiche: i limiti delle capacità emergono sia nella produzione di implementazioni qualificate sia nel soddisfacimento di requisiti multidimensionali dopo la qualificazione. Nel frattempo, alcuni modelli con punteggi elevati presentano comunque un grave disordine nella disposizione visiva. SimuVerity offre una base sistematica per valutare le capacità ingegneristiche degli agenti e diagnosticare gli errori nella generazione di modelli Simulink eseguibili.