A2Z GameSpec-Bench: con quanta fedeltà gli agenti di programmazione riescono a creare giochi a partire dalle specifiche di progettazione?

Abstract degli autori

Affidare agli agenti di programmazione l’intero sviluppo di un’applicazione richiede di preservare il progetto previsto, anziché limitarsi a produrre risultati plausibili con prompt semplicistici. Lo sviluppo di giochi è un banco di prova impegnativo: i Game Design Document (GDD) estesi descrivono requisiti che devono funzionare insieme nella logica di gioco, nella resa visiva e nelle interazioni con i giocatori. Tuttavia, i benchmark esistenti per lo sviluppo di giochi utilizzano in genere specifiche brevi e offrono strumenti limitati per valutare, nei GDD estesi, requisiti interdipendenti che riguardano questi aspetti. Presentiamo A2Z GameSpec-Bench, un benchmark composto da 100 GDD estesi per valutare lo sviluppo completo di giochi da parte degli agenti. Misuriamo la fedeltà verificando se il gioco soddisfa i requisiti del GDD e preserva le relazioni tra essi. Ogni GDD viene trasformato in un contratto che tiene conto delle dipendenze e contiene regole, vincoli e relazioni tra prerequisiti. Seguendo le prassi dello sviluppo di giochi, combiniamo l’esame del codice sorgente con strategie di test generate dagli agenti per la riesecuzione basata su scenari e il playtesting adattivo. Il contratto resta invariato per tutti gli agenti e nei successivi cicli di revisione, mentre valutazioni e prove collegate agli stessi requisiti consentono confronti coerenti e l’individuazione dei problemi. Le nostre valutazioni mostrano che gli agenti attuali faticano a soddisfare congiuntamente requisiti interdipendenti sia nell’implementazione del codice sia durante il gioco effettivo. Un feedback specifico per ciascun requisito migliora la GDD Fidelity del 10,9% rispetto alla revisione autonoma dopo due cicli. A2Z GameSpec-Bench valuta la capacità di seguire le specifiche nell’intero processo di sviluppo, andando oltre le valutazioni dell’implementazione, e fornisce un feedback mirato per favorire uno sviluppo di giochi più fedele alle specifiche. Il codice e i dataset sono disponibili all’indirizzo https://a2z-gamespec-bench.github.io.