The Pulse
Il benchmark StarSkirmish misura quanto bene gli LLM scrivono bot per StarCraft
StarSkirmish concede a ciascun modello linguistico un’ora per scrivere un bot Protoss in C++ e valuta i bot in un torneo contro altri bot scritti da modelli, bot affermati scritti da esseri umani e bot dimostrativi. Secondo la pagina del be
AI.info Team · Scritto con l’IA ·
Che cosa misura StarSkirmish
StarSkirmish è un benchmark in cui i modelli linguistici scrivono in C++ bot che giocano come Protoss in StarCraft: Brood War. Ogni modello ha un’ora di tempo effettivo per produrre un bot e, secondo la pagina, il benchmark mira a verificare se i modelli riescono a imparare dalle partite di allenamento e a migliorare il proprio codice. La pagina del benchmark, firmata da Kai McPheeters e datata 26 settembre 2026, ne descrive così l’obiettivo:
«StarSkirmish non è un benchmark di gioco pensato come curiosità: rileva capacità significative di ragionamento a lungo termine e di programmazione agentica».
Scrive Kai McPheeters, autore della pagina
Ogni modello opera a un livello di ragionamento «alto». L’ambiente di programmazione mette a disposizione strumenti per compilare un bot, disputare serie di partite di allenamento contro avversari di fasce selezionate e leggere i resoconti delle partite, con tempi di costruzione, riepiloghi degli scontri e dell’economia. Gli avversari delle partite di allenamento sono suddivisi in fasce: la D contiene i tre bot dimostrativi; la C e la B contengono ciascuna tre bot di fascia intermedia scritti da esseri umani; la A contiene BananaBrain e Locutus; la S contiene Stardust, indicato come il bot più forte tra quelli scritti da esseri umani.
Partite e partecipanti al torneo
I bot usano BWAPI 4.4.0 e giocano tramite OpenBW. Tutte le partite vedono Protoss contro Protoss su tre mappe della ladder: Heartbreak Ridge, Benzene e Destination. Una partita termina quando gli edifici di una delle due parti vengono distrutti. Se raggiunge il limite di 60 minuti, secondo la pagina il vincitore viene deciso come nella ladder BASIL: vince la parte con il punteggio più alto per uccisioni e distruzioni.
Il torneo comprende 62 partecipanti: 50 bot di modelli linguistici, frutto di cinque esecuzioni per ciascuno dei 10 modelli; nove bot competitivi scritti da esseri umani; e tre bot dimostrativi. Ogni partecipante affronta ogni altro partecipante sei volte, due su ciascuna mappa. Le partite si sono svolte in sandbox di Prime Intellect. Anziché riportare soltanto il risultato dell’esecuzione migliore di un modello, StarSkirmish calcola la media dei rating dei suoi cinque bot.
Tutti i modelli usano lo stesso harness, indicato nella pagina come ReAct deepagent di Inspect. Comprende bash, un editor di testo, uno strumento per la memoria e subagenti di ricerca. I modelli vengono chiamati tramite OpenRouter con un elevato livello di ragionamento e impostazioni che richiedono un’inferenza di prima parte. All’harness viene impartita l’istruzione di continuare finché l’ora non è trascorsa; non c’è uno strumento per l’invio e il codice del bot viene raccolto automaticamente allo scadere del tempo.
Calcolo dei punteggi e risultati riportati
StarSkirmish stima i rating Elo usando contemporaneamente tutte le partite del torneo. Calcola la probabilità di vittoria di un bot contro ciascun bot di riferimento secondo la convenzione Elo, poi fa la media di queste probabilità sui 12 bot di riferimento: i nove bot competitivi scritti da esseri umani e i tre bot dimostrativi. Il punteggio risultante viene riscalato in modo che Stardust, il bot più forte, ottenga 100 e Four Gate Dragoon, il bot dimostrativo più debole, ottenga zero.
Secondo la pagina, GPT-6 Astra e Claude Opus 5.5 sono praticamente alla pari come i due modelli linguistici con i punteggi più alti. Anche GPT-6 Sol viene descritto come nettamente superiore a tutti gli altri modelli testati, insieme ai due modelli in testa. La classifica complessiva dei modelli si basa sul rating medio dei cinque bot di ciascun modello; la pagina presenta anche i risultati dei gruppi di bot scritti da esseri umani e di bot dimostrativi.
La pagina del benchmark afferma che i suoi punteggi mostrano una forte correlazione con quattro benchmark pubblici di programmazione. Tra quelli usati per il confronto cita Vals IOI e WeirdML, descrivendo WeirdML come un benchmark indipendente basato su compiti di programmazione insoliti nell’ambito del machine learning. La pagina osserva che WeirdML v3 dispone di punteggi per sei dei dieci modelli e indica GLM 5.3, Grok 4.7, Muse Spark 1.3 e MiMo V2.6 Pro come assenti da quel confronto.
Quanto agli sviluppi futuri, la pagina afferma che i creatori prevedono di lanciare versioni con periodi di ragionamento sostanzialmente più lunghi, osservando che i principali modelli di ragionamento traggono beneficio da periodi superiori a un’ora. Aggiunge inoltre che StarSkirmish ha stretto una collaborazione con Good Start Labs per un ambiente di RL.