The Pulse
SWE-Game: gli agenti di programmazione restano sotto i 60 punti nei compiti di creazione di videogiochi
SWE-Game valuta gli agenti di programmazione in cinque compiti di sviluppo di videogiochi, tra cui creare giochi a partire da brevi descrizioni, riparare progetti e trasferirli da un motore di gioco a un altro. I migliori punteggi nei compi
AI.info Team · Scritto con l’IA ·
Il modello con il punteggio più alto ha ottenuto appena 50,38 punti su 100 quando gli è stato chiesto di creare un gioco a partire da una breve descrizione. In uno studio aggiornato il 7 ottobre, i ricercatori presentano SWE-Game, un benchmark che valuta gli agenti di programmazione nella creazione, nel completamento, nella riparazione e nel trasferimento di videogiochi. Nei tre compiti di creazione, i migliori punteggi complessivi sono rimasti sotto i 60 punti.
I risultati evidenziano una distanza tra produrre un progetto eseguibile e realizzare le dinamiche di gioco richieste. Il benchmark comprende 247 compiti costruiti a partire da 41 giochi Godot eseguibili, appartenenti a 13 categorie e comprendenti titoli sia in 2D sia in 3D. Secondo gli autori, tra i problemi esaminati sono frequenti le omissioni e gli errori nella logica di gioco.
Cinque compiti, da una breve descrizione al trasferimento su Unity
SWE-Game mette alla prova cinque tipi di lavoro: creare un gioco a partire da una breve descrizione, realizzare un gioco seguendo un documento di progettazione, completare un progetto parzialmente sviluppato, correggere errori introdotti e trasferire un gioco da Godot a Unity. Ciascuno dei quattro tipi di compito diversi dalla riparazione prevede un compito per ogni gioco di riferimento; l’insieme dei compiti di riparazione comprende 83 casi. Nel loro insieme, consentono ai ricercatori di confrontare gli agenti in diverse fasi dello sviluppo, anziché limitarsi a verificare la generazione di codice da zero.
I progetti di riferimento indicano ai valutatori che cosa dovrebbe fare il gioco. Gli agenti ricevono combinazioni di requisiti, risorse, video e codice di partenza specifiche per ciascun compito; programmi di controllo gestiti dai valutatori interagiscono poi con il gioco consegnato e ne esaminano lo stato nel motore di gioco. Il punteggio combina verifiche funzionali e input riprodotti con dimostrazioni delle funzionalità richieste, mentre criteri di valutazione visiva esaminano separatamente la presentazione.
«L’analisi dei lavori esaminati individua nelle omissioni dei requisiti e negli errori della logica di gioco i problemi di realizzazione predominanti».
Scrivono gli autori di «SWE-Game: Can Coding Agents Build the Games We Want?»: Xiaoyu Chen, Lai Wei, Jin Wang, Xiangyu Zou, Ruochen Fan, Enze Luo, Mingzhe Yao, Jiahui Zhu, Yuhua Wen, Linghe Kong e Weiran Huang.
Opus5 è in testa, ma la riparazione è una prova diversa
I ricercatori hanno valutato sei modelli. Opus5 si è classificato primo in tutti e cinque i tipi di compito, ottenendo 50,38 punti nella creazione di un gioco a partire da una breve descrizione e 83,46 nella correzione di errori. Lo studio riferisce che i secondi classificati variavano a seconda del compito: Grok4.6 è arrivato secondo nella creazione di un gioco a partire da una breve descrizione, mentre GPT-5.6 Luna si è classificato secondo negli altri quattro.
La differenza tra i due punteggi di Opus5 è significativa: riparare un progetto in cui è stato introdotto un errore non è la stessa sfida che trasformare una descrizione generale in un gioco completo. SWE-Game li considera compiti distinti, e i suoi punteggi vanno letti come risultati ottenuti in queste specifiche condizioni, non come misura generale dell’utilità degli agenti di programmazione per gli sviluppatori di videogiochi.
Le verifiche durante l’esecuzione superano la valutazione basata sui video
Lo studio verifica anche se i suoi metodi di valutazione concordano con i giudizi umani. Su 1.200 asserzioni relative al comportamento, etichettate da esseri umani e tratte da 100 progetti realizzati dagli agenti, le verifiche eseguibili hanno raggiunto un’accuratezza bilanciata del 92,59%; un valutatore basato su un modello visivo-linguistico che analizza i video ha raggiunto circa il 78,41%. Gli autori riferiscono che le verifiche eseguibili sono risultate particolarmente migliori nell’individuare i difetti.
Per la qualità visiva, i ricercatori hanno confrontato i punteggi assegnati da un modello secondo criteri di valutazione con i giudizi umani su 200 filmati di gioco. I punteggi hanno mostrato una correlazione di Spearman di 0,829 con i giudizi umani. I risultati avvalorano l’uso di dati raccolti durante l’esecuzione per giudicare se un gioco si comporta come previsto e di valutazioni visive per giudicare il suo aspetto, anziché affidarsi a uno solo dei due metodi.
Un benchmark per la creazione di videogiochi, non solo per il codice
La distinzione centrale di SWE-Game è quella tra un progetto che si avvia e uno che conserva le meccaniche, i contenuti e la progressione previsti. In un filmato, un personaggio potrebbe sembrare in grado di schivare un ostacolo anche se le regole di collisione sottostanti sono sbagliate; anche un’apparente vittoria potrebbe derivare da una scorciatoia che evita le interazioni richieste. I riferimenti eseguibili del benchmark e gli input controllati dai valutatori sono progettati per individuare questi problemi.
Lo studio non stabilisce come si comportino gli agenti in ogni motore di gioco, processo di produzione o modalità di lavoro collaborativo. Esamina un insieme definito di progetti e compiti derivati da Godot, e i risultati fotografano sei modelli valutati dagli autori. Per i team di sviluppo che prendono in considerazione prototipi scritti da agenti, lo studio lascia una verifica precisa: il progetto si limita ad avviarsi o è in grado di dimostrare, quando viene valutato, il comportamento richiesto?