SERIAL-7: derivare, realizzare e preservare output verificabili dalle macchine tra diverse rappresentazioni

Abstract degli autori

I modelli linguistici di grandi dimensioni generano sempre più spesso output strutturati utilizzati da programmi e sistemi a valle, nei quali la correttezza semantica, da sola, non garantisce un’esecuzione affidabile. Presentiamo SERIAL-7, un benchmark coreano-inglese basato su un framework di verifica eseguibile per la generazione di output verificabili dalle macchine in sette rappresentazioni. Partendo da 177 artefatti canonici convalidati, SERIAL-7 distingue la derivazione semantica (Derive), la generazione vincolata di artefatti (Realize) e la preservazione tra rappresentazioni (Preserve). I suoi 43 vincoli atomici di rappresentazione sono associati a controlli eseguibili di formato, struttura e semantica specifica del compito, consentendo una verifica progressivamente più rigorosa, dalla conformità della rappresentazione alla validità completa dell’artefatto. Nei dieci modelli, l’HSR di REALIZE-L3 varia dal 42,0% al 93,9%, mentre Full Compliance evidenzia ulteriori errori a livello di artefatto, oltre ai casi in cui le risposte finali sono corrette e le rappresentazioni valide. Questi risultati mostrano che una generazione strutturata affidabile richiede una verifica esplicita ed eseguibile di come gli artefatti vengono realizzati e preservati tra le diverse rappresentazioni.