The Pulse
Grid Studio ottiene il 99,9% in 519 attività sui sistemi elettrici
Un articolo presentato ad arXiv il 2 novembre descrive Grid Agents, un sistema che combina la ricerca normativa con studi di ingegneria dei sistemi elettrici. Il suo agente Grid Studio ha ottenuto il 99,9% in 519 attività di benchmark, anch
AI.info Team · Scritto con l’IA · verificato ·
Grid Studio ha ottenuto il 99,9% in 519 attività sui sistemi elettrici, ma i suoi autori descrivono anche una differenza tra le reti dei benchmark e i modelli di pianificazione più grandi utilizzati dagli operatori. Il sistema, che fa parte di Grid Agents, ha eseguito quei test più velocemente delle alternative esaminate nello studio, mentre il potere decisionale resta agli ingegneri. MaoXun Huang, Kshitij Kapoor ed Eli Louise hanno presentato l’articolo ad arXiv il 2 novembre 2026.
Grid Studio affianca gli agenti a solutori consolidati
L’articolo presenta Grid Agents come un sistema composto da due elementi collegati: Grid Ontology, che conserva conoscenze ricercabili in materia di regolamentazione, standard e ingegneria, e Grid Studio, che esegue studi sui sistemi elettrici in un ambiente ingegneristico dedicato. L’agente seleziona gli studi e ne stabilisce la sequenza, mentre solutori consolidati calcolano i risultati numerici riportati. Le risposte tratte da Grid Ontology citano le prove a sostegno e la memoria del sistema può cambiare man mano che gli agenti apprendono dall’uso; le modifiche che interessano altri utenti richiedono l’approvazione umana.
Gli autori descrivono con chiarezza la divisione delle responsabilità: «Gli agenti preparano il lavoro e le persone decidono». La loro valutazione non si limita a verificare le risposte finali: riesegue anche le chiamate agli strumenti per controllare che un sistema abbia eseguito lo studio richiesto sullo stato di rete richiesto.
Il vantaggio nelle 519 attività comprende anche la velocità
I ricercatori hanno riunito otto famiglie di benchmark pubblicati sui sistemi elettrici in una suite di 519 attività, che comprende reti da 4 a 9.241 bus. Grid Studio ha ottenuto un punteggio end-to-end del 99,9%, con il 100% in sette famiglie di benchmark e il 99,2% su PowerCodeBench. Secondo l’articolo, il risultato è stato superiore in misura statisticamente significativa a quello di ogni altro sistema messo a confronto.
Il tempo mediano di lavoro dell’agente Grid Studio è stato di 13,9 secondi per attività. Codex CLI ha ottenuto il 99,4% e impiegato una mediana di 21,6 secondi; anche Power-Agent ha ottenuto il 99,4%, con una mediana di 16,8 secondi. La misura end-to-end dell’articolo combina la vicinanza numerica, l’accuratezza della risposta e un criterio di superamento rigoroso, che richiede sia una risposta sufficientemente accurata sia la prova che lo studio corretto sia stato eseguito sullo stato di rete corretto.
La ricerca normativa prevale, ma con margini ridotti in alcune classifiche
Grid Ontology è stato valutato separatamente su benchmark di ricerca normativa. Su LegalBench-RAG ha ottenuto un punteggio F1 di 0,980, davanti ai sistemi di riferimento dell’articolo. Nell’Enterprise RAG Challenge ha ottenuto 124,5 punti su 150, contro i 123,7 del miglior risultato pubblicato; su ViDoRe V3 il suo punteggio è stato di 70,23, contro i 70,01 della migliore pipeline pubblicata.
Per il GB Regulation Set dello studio, l’articolo riporta un recall nel recupero delle prove di 0,967 per Grid Ontology e di 0,856 per Claude Code. Entrambi i sistemi hanno risposto correttamente a tutte le domande, scrivono gli autori, perciò il confronto si è concentrato sulla capacità di citare le prove corrette a sostegno delle risposte.
Gli autori segnalano un limite di scala
Il risultato principale più rilevante riguarda la suite di benchmark dell’articolo, non una valutazione completa di connessione sul più grande modello di pianificazione di un operatore. Le reti testate arrivavano a 9.241 bus, mentre gli autori affermano che il modello di pianificazione di un operatore può arrivare a decine di migliaia di bus e che uno studio di connessione può concatenare più analisi. Delle 109 attività di benchmark che coinvolgevano reti con oltre 2.000 bus, Grid Studio ne ha superate 108; Power-Agent ne ha superate 106, Codex CLI 90 e Claude Code 74.
Il team ha testato separatamente la pianificazione dei rinforzi in cinque studi su reti da 30, 118 e 2.000 bus. Con un ottimizzatore nel ciclo, i pacchetti di rinforzo risultanti sono costati in media il 33–67% in meno rispetto a quelli progettati dal solo agente, secondo l’articolo. I punteggi dei benchmark e il confronto dei costi sono i risultati riportati nell’articolo; le decisioni, affermano gli autori, spettano agli ingegneri.