Orizzonti futuri

ARC-AGI-3 superato in cinque mesi: perché saturare un benchmark non significa ancora raggiungere l’AGI

ARC-AGI-3 è stato lanciato nel marzo 2026: gli esseri umani ottenevano il 100%, l’IA di frontiera lo 0,51. Il 3 settembre GPT-6 Astra ha ottenuto 99,9 con l’infrastruttura di test di OpenAI e 62,7 con una neutrale. Che cosa misuravano quei

Gabriele Masetti · 2026-09-17

Che cosa doveva misurare ARC-AGI-3

Il 25 marzo 2026 la ARC Prize Foundation ha pubblicato ARC-AGI-3, il primo benchmark interattivo di una serie che fino ad allora comprendeva soltanto rompicapi statici su griglie. Comprende centinaia di ambienti a turni, ciascuno progettato a mano da game designer, per un totale di migliaia di livelli. Un agente non riceve né istruzioni né una descrizione dell’obiettivo. Deve esplorare, capire che cosa significhi vincere, costruire un modello delle reazioni dell’ambiente e pianificare una sequenza di azioni.

Il risultato della calibrazione era il punto centrale dell’esperimento.

I nostri test mostrano che gli esseri umani riescono a risolvere il 100% degli ambienti, a differenza dei sistemi di IA di frontiera che, a marzo 2026, ottengono un punteggio inferiore all’1%. — ARC Prize Foundation, rapporto tecnico di ARC-AGI-3, marzo 2026

La serie esiste perché i benchmark precedenti continuavano a essere superati. La competizione ARC Prize 2025 ha attirato 1.455 squadre e 15.154 partecipazioni su ARC-AGI-2, e il miglior punteggio sull’insieme di valutazione privato è stato del 24%: un progresso reale rispetto a valori prossimi allo zero, ma ancora ben al di sotto dei risultati umani usati per calibrare i rompicapi. ARC-AGI-3 è stato progettato per riaprire un divario che il lavoro ingegneristico continuava a colmare.

Al lancio, i modelli di frontiera hanno ottenuto punteggi inferiori all’1%. Il punteggio misura l’efficienza, non il completamento: un livello conta per intero solo quando un agente lo supera con un impiego di azioni paragonabile a quello del riferimento umano. Per questo la fondazione descrive il punteggio perfetto come il superamento di ogni gioco da parte degli agenti con la stessa efficienza degli esseri umani. Gli ambienti escludono per scelta progettuale il linguaggio e le conoscenze esterne, lasciando quelli che ARC chiama Core Knowledge priors: oggetti, capacità di contare, geometria elementare.

Cinque mesi dallo 0,51% al 99,9%

Il 1° maggio 2026 ARC Prize ha pubblicato un’analisi dei replay di due modelli di frontiera sull’insieme semi-privato: GPT-5.5 ha ottenuto lo 0,43%, Claude Opus 4.7 lo 0,18%. Secondo l’interpretazione dei replay fornita dalla fondazione, i due modelli fallivano in modi diversi — Claude Opus 4.7 comprimeva l’ambiente in modo errato, mentre GPT-5.5 non riusciva a comprimerlo — e i punteggi aggregati nascondevano questa distinzione.

A metà estate la curva ha cambiato direzione. GPT-5.6 Sol ha raggiunto il 7,78% e Claude Opus 5 il 30,16%. Il 21 agosto Nvidia ha riferito che la sua architettura per agenti AVO, costruita attorno a Claude Opus 5 senza modificarlo, aveva completato tutti i 183 livelli dell’insieme pubblico di 25 ambienti in 6.624 azioni, ottenendo un punteggio di efficienza perfetto: un risultato sull’insieme pubblico, come precisa la stessa Nvidia, non su quello semi-privato o privato.

Poi, il 3 settembre, OpenAI ha pubblicato GPT-6 Astra e ARC Prize ha pubblicato la propria analisi lo stesso giorno. Astra ha ottenuto il 62,7% con l’infrastruttura di test standard, a un costo misurato di 26.098 dollari, e il 99,9% tramite l’adattatore del fornitore di OpenAI, a 18.817 dollari. Nell’esecuzione con l’adattatore per il ragionamento massimo, che ha ottenuto il 98,6%, ha impiegato meno azioni del riferimento umano nel 96% dei livelli, e in media il 51,7% di azioni in meno per livello. Un test in cui a marzo nessuna IA superava l’1% registrava a settembre un punteggio quasi perfetto.

L’infrastruttura di test svolge una parte del lavoro

Il divario di circa 37 punti tra i due punteggi di Astra non è rumore statistico, né dipende da una differenza nei pesi del modello. L’infrastruttura di test standard offre a ogni modello la stessa interfaccia minimale, indipendente dal fornitore. L’adattatore del fornitore permette invece a un modello di usare i meccanismi di gestione del contesto sviluppati dal proprio laboratorio. Per Astra questo significa mantenere lo stato del ragionamento tra una chiamata e l’altra, anziché ripartire ogni volta da zero.

Il risultato di Nvidia dimostra lo stesso punto da un’altra prospettiva. All’interno di Claude Opus 5 non è cambiato nulla: nessun nuovo addestramento, nessun fine-tuning, nessuna modifica ai pesi. Con una memoria persistente e un livello di supervisione esterno al modello, ha completato senza errori l’insieme pubblico. Nvidia precisa che cosa dimostri il risultato: la sua esecuzione utilizzava un’impostazione di ragionamento diversa e un sistema di agenti e una configurazione di valutazione sostanzialmente diversi da quelli con cui ARC Prize riporta per Claude Opus 5 un punteggio di circa il 30%. Il divario, dunque, non misura direttamente il contributo di AVO, ma illustra soltanto che la valutazione del solo modello non descrive le prestazioni di un agente completo. Qualunque cosa si stia misurando, una parte consistente risiede nella struttura di supporto anziché nella rete.

Per la questione dell’AGI, la distinzione conta in un senso preciso. Il punteggio di un benchmark è una proprietà di un sistema, e il sistema comprende l’infrastruttura di test. Interpretarlo come una proprietà del modello equivale a considerare il risultato di un esame una proprietà del cervello dello studente, ignorando gli appunti che gli era consentito portare.

Un solo strumento, inoltre, non esprime il verdetto dell’intero settore. Nella stessa settimana, Artificial Analysis ha assegnato ad Astra un punteggio di 61 nel suo Intelligence Index, pari a quello del predecessore GPT-5.6 Sol e cinque punti sotto il 66 di Claude Fable 5.1 di Anthropic, mentre l’indice delle capacità di Epoch AI ha collocato Astra al primo posto su oltre cinquanta test. Un sistema può essere il più generale mai misurato da uno strumento e rappresentare un aggiornamento incrementale secondo un altro: è ciò che accade quando gli indici compositi attribuiscono pesi diversi alle varie capacità.

Chi ha costruito il test dice che non è il traguardo

L’analisi di ARC Prize su Astra è insolitamente schietta riguardo ai limiti del proprio strumento.

Sebbene riteniamo che Astra rappresenti un progresso significativo verso la generalizzazione, non sosteniamo che sia un’IA generale. — ARC Prize Foundation, analisi di GPT-6 Astra su ARC-AGI-3, 3 settembre 2026

La ragione dichiarata è strutturale, non diplomatica. ARC-AGI-3 ha un ambito e un formato rigidamente delimitati; i suoi ambienti hanno meccaniche e obiettivi deterministici e circoscritti, e non rappresentano la complessità e il carattere aperto del mondo reale. Raggiungere il punteggio massimo non è mai stato presentato come una prova di alcunché, né al lancio né in seguito.

François Chollet, che ha introdotto il benchmark ARC nel 2019 e trasformato ARC Prize in una fondazione all’inizio del 2025, ha però rivisto una cosa: le sue previsioni sui tempi. Al lancio, alla domanda su quanto sarebbe servito per raggiungere il punteggio massimo, aveva risposto circa un anno. Astra ci è arrivato a una velocità all’incirca doppia e, quando a settembre gli è stato chiesto se ritenesse ancora valida la sua stima dell’arrivo dell’IA generale intorno al 2030, ha risposto che sarebbe arrivata prima, dato che i progressi procedevano più rapidamente di quanto si aspettasse.

I prossimi strumenti di valutazione sono già in programma. ARC-AGI-4 è previsto per l’inizio del 2027, secondo una cadenza annuale che, dice Chollet, serve a far sì che ogni nuovo benchmark non abbia già raggiunto il punteggio massimo al momento del lancio; ARC-AGI-5 è previsto dopo. La fondazione afferma di stare esplorando come valutare l’auto-miglioramento ricorsivo e l’innovazione aperta; a ottobre 2026 ARC Prize afferma che ARC-AGI-4 sarà un benchmark per l’innovazione autonoma e aperta.

Chollet ha descritto il punto d’arrivo in termini operativi, anziché filosofici: continueranno ad arrivare nuove versioni finché non sarà più possibile proporre un compito che le persone comuni sanno svolgere e le macchine no. In questa prospettiva, l’esistenza stessa di ARC-AGI-4, già finanziato e in programma, è la risposta attuale alla domanda se il lavoro sia finito.

Cinque definizioni, e il benchmark non ne risolve nessuna

La carta fondativa di OpenAI del 2018 definisce l’IA generale come sistemi altamente autonomi che superano gli esseri umani nella maggior parte delle attività lavorative di valore economico. Un punteggio ottenuto su un insieme chiuso di giochi è una prova di capacità, non di sostituzione del lavoro umano. Il quadro di riferimento proposto da Google DeepMind nel 2023 chiarisce la distinzione: definire l’IA generale in base al raggiungimento di un certo livello di sostituzione del lavoro umano richiederebbe un impiego nel mondo reale, mentre definirla in base alla capacità di sostituirlo si concentra sul potenziale.

Quell’articolo di DeepMind — firmato da Morris, Sohl-Dickstein, Fiedel, Warkentin, Dafoe, Faust, Farabet e Legg — sostituisce la soglia unica con una griglia di sei livelli di prestazione incrociati con la distinzione tra specifico e generale. La tabella pubblicata colloca i modelli di chat più avanzati al Livello 1 generale, «IA generale emergente», e indica che nessuno dei livelli generali superiori è stato ancora raggiunto. Non è apparsa alcuna nuova collocazione di un modello del settembre 2026 in quella griglia sottoposta a revisione tra pari.

La definizione più antica ancora in circolazione è anche la più vaga. Shane Legg e Marcus Hutter, scrivendo nel 2007, passarono in rassegna decine di descrizioni informali dell’intelligenza e le ridussero a una sola riga: la capacità di un agente di raggiungere obiettivi in un’ampia gamma di ambienti. Legg è tra i fondatori di DeepMind e tra gli autori dell’articolo sui livelli, quindi la continuità è diretta. La parola decisiva nella formula del 2007 è «gamma», e un insieme fisso di giochi creati appositamente la limita per costruzione.

La definizione che ARC-AGI traduce in un test operativo è quella di Chollet: l’intelligenza di un sistema misura l’efficienza con cui acquisisce abilità in un insieme di compiti, tenendo conto delle conoscenze pregresse, dell’esperienza e della difficoltà di generalizzazione. Secondo questa definizione, l’IA generale arriva quando non rimane alcuna differenza misurabile nell’efficienza dell’apprendimento tra macchine e persone. È per questo che a un benchmark in cui si è raggiunto il punteggio massimo ne segue uno più difficile, anziché una dichiarazione.

Una quarta definizione è psicometrica. «A Definition of AGI», pubblicato nell’ottobre 2025 da Dan Hendrycks, Yoshua Bengio, Gary Marcus, Erik Brynjolfsson e più di due dozzine di coautori, valuta i sistemi in dieci domini cognitivi tratti dalla teoria di Cattell-Horn-Carroll. Riporta il 27% per GPT-4 e il 57% per GPT-5, con le carenze concentrate nella memorizzazione a lungo termine. Un articolo successivo sostiene che una media semplice fa apparire il risultato migliore di quanto sia e che un valore aggregato ponderato per la coerenza colloca GPT-5 più vicino al 24%.

Una quinta definizione era un contratto, e ora non esiste più. Un tempo l’accordo di Microsoft con OpenAI legava l’IA generale a sistemi capaci di generare 100 miliardi di dollari di profitti; nell’ottobre 2025 la dichiarazione è stata affidata a un comitato indipendente di esperti e la rinegoziazione dell’aprile 2026 ha reso la condivisione dei ricavi indipendente dai progressi tecnici, eliminando quella condizione. L’unica definizione a cui fosse legato del denaro è stata abbandonata prima che qualcuno provasse a soddisfarla.

Che cosa osservano i previsori

La previsione collettiva di Metaculus colloca ancora l’arrivo di un’IA debolmente generale intorno al 2028, sulla base delle stime di circa 1.800 previsori, e quello di un primo sistema pienamente generale intorno al 2033, sulla base delle stime di circa 1.900. Sono cifre rimaste sostanzialmente invariate fino a metà settembre 2026, anche se i rilevatori non concordano sul mese esatto. Nelle due settimane in cui un benchmark è stato portato al punteggio massimo, le previsioni collettive si sono mosse appena.

I laboratori si sono spinti oltre. Greg Brockman, presidente di OpenAI, ha detto ai giornalisti al lancio di Astra che non era «irragionevole» pensare che l’era dell’IA generale fosse cominciata e che fosse ragionevole chiamare Astra il primo modello di quel tipo, benché la pagina di lancio di OpenAI evitasse tale affermazione. Gary Marcus ha definito questa presentazione una mossa di marketing da parte di persone che abbassano l’asticella; Ben Goertzel, che ha reso popolare il termine due decenni fa, ha descritto un sistema sovrumano in alcune cose e inferiore agli esseri umani in altre.

Le prove che nessun benchmark può fornire

Mancano tre tipi di prove, e nessuna è un punteggio. Il primo è l’apprendimento duraturo: un sistema che acquisisce una competenza dopo la messa in uso e la conserva, insieme a quelle precedenti, anche mesi dopo.

Il secondo è l’invenzione, non l’adattamento. Ogni ambiente ARC ha una soluzione che i suoi progettisti conoscono già, e l’efficienza si misura rispetto al numero di azioni necessarie a un essere umano. Un test dell’innovazione aperta deve premiare un sistema che produce uno strumento, una regola o una notazione che nessuno aveva specificato; valutare una cosa del genere è un problema di ricerca irrisolto, non una questione di calendario.

Il terzo è economico, ed è ciò che chiede la definizione contenuta nello statuto. Superare gli esseri umani nella maggior parte delle attività lavorative di valore economico è un’affermazione che riguarda il lavoro svolto nella pratica, osservabile nelle aziende, nella produzione e nelle mansioni sostituite nell’arco di anni, non in una valutazione costata 26.098 dollari. Il gruppo di esperti previsto dall’accordo tra OpenAI e Microsoft era un’ammissione parziale di questo fatto, e la clausola è stata eliminata prima ancora che il gruppo dovesse riunirsi.

Tutto questo non significa che il 2026 sia stato privo di eventi. Un benchmark che i suoi autori si aspettavano resistesse per un anno è stato superato in cinque mesi, e un modello ha impiegato meno mosse di una persona nel 96 per cento dei livelli che non aveva mai visto.

La lettura corretta è più circoscritta di quanto vorrebbero entrambi gli schieramenti. Lo strumento di misura più preciso del settore ci ha detto quanto rapidamente le macchine sappiano oggi adattarsi all’interno di un mondo chiuso e deterministico. Ogni definizione di intelligenza generale su cui si discute davvero — quella dello statuto, quella di DeepMind, quella di Chollet, quella psicometrica — riguarda invece il mondo aperto.