The Pulse

I punteggi di GPT-6 Astra di OpenAI sotto esame dopo revisioni passate sotto silenzio

OpenAI ha modificato diversi risultati di GPT-6 Astra nei benchmark dopo il lancio del 3 settembre, tra cui quelli relativi alle allucinazioni, alla cybersicurezza e ai modelli concorrenti. Test indipendenti di ARC Prize hanno inoltre mostr

AI.info Team · Scritto con l’IA · verificato · 2026-09-12

OpenAI ha lanciato GPT-6 Astra il 3 settembre con una serie di dati pensati per fissare un nuovo livello massimo di prestazioni. Nel giro di poche ore, diversi di quei dati sono cambiati. Un tasso di allucinazioni è stato ridotto dal 4,2% al 2% prima di tornare al 4,2%; un risultato di GPT-5.6 Sol nella cybersicurezza è raddoppiato ed è stato poi sottoposto a revisione; e i punteggi dei modelli di Anthropic sono scesi e poi risaliti nelle successive versioni della pagina di lancio dell’azienda.

Secondo OpenAI, le modifiche riflettono il normale lavoro di valutazione, non un tentativo di fuorviare i clienti. Test indipendenti hanno fatto emergere un secondo problema: il risultato del 99,9% ottenuto dal modello su ARC-AGI-3, presentato come dato di punta, dipende da un harness specifico del fornitore che conserva lo stato nascosto del ragionamento tra una richiesta e l’altra. Con l’harness standard di ARC Prize, il miglior risultato verificato è del 62,7%, una differenza abbastanza ampia da cambiare il modo in cui il dato va interpretato.

La controversia non dimostra che Astra sia privo di capacità notevoli. La tabella pubblicata dalla stessa OpenAI registra progressi sostanziali rispetto a GPT-5.6 Sol nella programmazione, nell’uso del computer, nella matematica e nella cybersicurezza. Mostra però perché le tabelle dei benchmark diffuse il giorno del lancio debbano riportare date, configurazioni e uno storico chiaro delle revisioni prima che gli acquirenti le usino per confrontare i modelli.

La tabella di lancio di OpenAI è cambiata prima che l’annuncio si assestasse

OpenAI aveva inizialmente previsto di pubblicare l’annuncio di GPT-6 Astra alle 14 del 3 settembre, ora della costa orientale degli Stati Uniti. Il post è apparso brevemente, è scomparso e non è diventato accessibile con continuità fino a più tardi nel pomeriggio. Fortune ha esaminato le versioni archiviate della pagina e ha rilevato che diversi risultati delle valutazioni erano cambiati tra la prima versione accessibile e quella successiva.

La modifica più evidente riguardava un benchmark interno sulle allucinazioni. La prima copia archiviata riportava per Astra il 4,2% e per GPT-5.6 Sol il 12,2%. Una copia successiva riduceva quei valori rispettivamente al 2% e al 9,4%. La pagina è poi tornata ai valori originali del 4,2% e del 12,2%. L’attuale pagina di lancio di OpenAI non spiega questa sequenza in un registro datato delle correzioni.

OpenAI ha difeso le revisioni in alcune dichiarazioni a Fortune. «Per noi è estremamente importante che le valutazioni siano corrette», ha dichiarato alla testata un portavoce di OpenAI. «La maggior parte delle valutazioni presenta un margine di variabilità di alcuni punti percentuali, a seconda del checkpoint esatto, dello scaffold e dell’esecuzione della valutazione utilizzati per riportare i risultati. Per il nostro post di lancio abbiamo apportato correzioni per assicurarci che i numeri rappresentino la nostra migliore stima delle prestazioni disponibili del modello, così che gli utenti possano fare confronti significativi».

Questa spiegazione chiarisce perché un risultato possa cambiare. Non risolve però il problema della trasparenza. Un cliente che legge la pagina dopo le modifiche non può capire facilmente quali numeri siano cambiati, quando siano cambiati o perché l’azienda abbia scelto la versione finale.

Il confronto su ExploitBench ha usato un’impostazione che i clienti non possono acquistare

I dati sulla cybersicurezza sollevano una controversia metodologica più specifica. La prima versione del materiale di lancio di OpenAI riportava per GPT-5.6 Sol un punteggio del 5,5% su una versione interna di ExploitBench. Le versioni successive hanno alzato il punteggio di Sol all’11,5%. OpenAI stava poi valutando se riportare il risultato al 5,5%, perché il dato dell’11,5% proveniva da un livello di ragionamento non disponibile in commercio per Sol.

La distinzione è importante perché i confronti tra benchmark sono utili solo quando i sistemi testati operano in condizioni comparabili. La tabella pubblica di OpenAI riporta per Astra il 100% su ExploitBench e per Sol il 78,5%, mentre una versione separata di ExploitBench basata su dati recenti assegna ad Astra il 39% e a Sol il 5,5%. Secondo l’azienda, la valutazione più recente usa vulnerabilità rilevate da giugno ad agosto 2026 anziché falle note più vecchie: i due test misurano quindi capacità correlate ma diverse.

Secondo OpenAI, Astra rientra anche nella categoria più alta di capacità in materia di cybersicurezza prevista dal Preparedness Framework dell’azienda. Astra è in grado di individuare falle precedentemente sconosciute e sviluppare exploit su sistemi ben protetti, se dispone degli strumenti e degli accessi adeguati, afferma l’azienda. OpenAI ha rinviato alcune parti dello sviluppo e del rilascio di Astra dopo un incidente avvenuto a luglio che ha coinvolto altri modelli e l’azienda di IA Hugging Face, per poi limitare l’accesso ad alcune capacità avanzate in ambito cyber.

Le affermazioni sulla sicurezza e le revisioni dei benchmark sono questioni separate. Un modello può essere molto capace nelle operazioni cyber anche se una tabella comparativa usa un termine di riferimento inappropriato. Gli acquirenti devono sapere se un punteggio descrive il modello disponibile tramite un’API, un checkpoint di ricerca privato, un livello speciale di ragionamento o un sistema di agenti più ampio costruito attorno al modello.

ARC-AGI-3 mostra come l’harness cambi il risultato

Il dato pubblico più sorprendente di OpenAI è il punteggio del 99,9% ottenuto da Astra su ARC-AGI-3, un benchmark interattivo creato dalla ARC Prize Foundation. La pagina di lancio di OpenAI definisce il risultato un punto di saturazione e lo presenta accanto all’affermazione secondo cui Astra è allo stato dell’arte nel ragionamento, nell’uso del computer, nell’ingegneria del software, nella cybersicurezza, nella scienza e nel lavoro professionale.

La pagina dei risultati di ARC Prize fornisce il dettaglio mancante. Registra come miglior risultato di Astra il 62,7% con l’harness standard, con un’esecuzione al massimo livello di ragionamento costata 26.098 dollari. Con l’harness dotato dell’adattatore del fornitore, che conserva uno stato opaco del ragionamento tra le richieste e usa la compattazione per le conversazioni più lunghe, Astra ha raggiunto il 99,9% con un livello di ragionamento elevato, al costo di 18.817 dollari.

Non si tratta di due misurazioni esattamente dello stesso sistema. L’harness standard permette al modello di conservare tra una richiesta e l’altra gli appunti che sceglie di mantenere. L’adattatore del fornitore conserva ulteriori informazioni sullo stato interno fornite tramite l’interfaccia di OpenAI. Secondo OpenAI, l’adattatore modifica due impostazioni per rispecchiare meglio le prestazioni nel mondo reale e le modifiche non sono rivolte specificamente ad ARC-AGI-3.

ARC Prize ha comunque descritto il risultato di Astra come un notevole miglioramento. La sua valutazione ha rilevato che Astra ha usato meno azioni del valore mediano umano di riferimento nel 96% dei livelli. L’organizzazione ha anche affermato che un punteggio saturo su ARC-AGI-3 non dovrebbe essere considerato una prova del fatto che un modello abbia raggiunto l’intelligenza artificiale generale.

La pagina di lancio di OpenAI colloca il dato del 99,9% nella tabella principale dei benchmark, mentre la distinzione tra gli harness compare in una nota a piè di pagina. Questa presentazione è all’origine di gran parte delle critiche. Un lettore che scorre la tabella vede un risultato quasi perfetto accanto a punteggi di pochi punti percentuali per i modelli precedenti, ma potrebbe non accorgersi che Astra e quei modelli non sono stati necessariamente valutati tramite la stessa interfaccia.

I dati indipendenti mostrano comunque un modello Astra dalle notevoli capacità

L’esame dei risultati non riduce le prestazioni di Astra a un artificio di presentazione. Il punteggio del 62,7% ottenuto con l’harness standard di ARC Prize rimane molto al di sopra dei risultati pubblici riportati per altri sistemi. La tabella di OpenAI mostra inoltre Astra davanti a GPT-5.6 Sol su OSWorld 2.0, con il 72,6% contro il 65,7%, e su Terminal-Bench 4.0, con il 57,9% contro il 37,3%.

Nelle valutazioni accademiche di OpenAI, Astra ottiene il 97,6% su FrontierMath Tier 4, contro l’83% di GPT-5.6 Sol. Ottiene il 96% su GPQA Diamond e il 57,2% su Humanity’s Last Exam con strumenti. Nei test sull’uso del computer, raggiunge il 59,3% su Agents’ Last Exam e il 92,7% su ScreenSpot-Pro senza strumenti.

La stessa tabella mostra anche che Astra non vince ogni confronto. Fable 5.1 di Anthropic ottiene il 65% su Humanity’s Last Exam con strumenti, superando il 57,2% di Astra. Fable 5.1 ottiene anche 65,7 sull’Intelligence Index di Artificial Analysis, contro il 61,2 di Astra nella versione citata da OpenAI. Su FrontierCode 1.1 Main, Fable 5.1 registra il 50,9%, mentre Astra raggiunge il 53,3%; nella versione estesa, Fable 5.1 registra il 63,6% contro il 64,5% di Astra.

Questi risultati contrastanti sono uno dei motivi per cui le revisioni sono importanti. La questione non è se Astra sia capace. La questione è se i clienti possano distinguere un miglioramento generale delle prestazioni da una configurazione di test favorevole, da un checkpoint privato o da un numero cambiato dopo la pubblicazione.

I ricercatori chiedono un registro di ogni modifica ai benchmark

Fortune ha riportato le dichiarazioni di Anka Reuel e Mike Hardy, ricercatori presso lo Stanford’s Intelligent Systems Laboratory e lo Stanford Trustworthy AI Lab, che si sono chiesti se le ripetute esecuzioni dei test equivalessero a «benchmaxxing», un termine che indica l’ottimizzazione delle condizioni di valutazione per ottenere il punteggio più alto. Hanno anche affermato che la scheda di sistema di Astra fornisce pochi dettagli sul benchmark interno delle allucinazioni, senza indicare nemmeno il numero di prove.

Vincent Sunn Chen, ingegnere di IA che guida la ricerca sui benchmark e sulle valutazioni presso Snorkel AI, ha offerto una spiegazione meno accusatoria, chiedendo al contempo una comunicazione più chiara. «Il punteggio di un benchmark riflette una specifica configurazione di misurazione: il checkpoint del modello, la configurazione (compresi il tempo e la potenza di calcolo concessi al modello), l’harness, la configurazione della valutazione e dell’assegnazione dei punteggi», ha dichiarato a Fortune in un’email.

Chen ha affermato che i punteggi possono cambiare nelle ultime ore prima di un lancio perché i team stanno ancora modificando checkpoint, limiti di calcolo e sistemi di assegnazione dei punteggi. Ha anche detto che le aziende dovrebbero comunicare che cosa è cambiato quando rivedono i risultati dei benchmark. Questa prassi consentirebbe ai lettori di distinguere la correzione di un errore nell’assegnazione del punteggio da una nuova esecuzione del modello, da un diverso livello di ragionamento o da uno scaffold per agenti più favorevole.

La pagina di lancio di OpenAI include note a piè di pagina che descrivono diversi limiti. Il risultato del 5,5% di GPT-5.6 Sol su ExploitBench potrebbe riflettere un limite di 300 turni che non si applica ai clienti che usano le impostazioni massime, precisano le note. La pagina avverte inoltre che i modelli di terze parti sono testati mediante configurazioni di ricerca più semplici e che le misure di salvaguardia dei fornitori e le implementazioni degli strumenti per l’uso del computer differiscono.

Queste precisazioni sono tecnicamente significative, ma arrivano dopo percentuali messe in evidenza che invitano al confronto diretto. Il risultato è una tabella che può essere accurata in ogni singola cella e al tempo stesso favorire un’impressione complessiva inesatta.

Che cosa possono verificare i clienti dopo il 3 settembre

Per i clienti che valutano Astra, i dati più solidi sono quelli legati a un harness identificato, a un livello di ragionamento dichiarato e a una configurazione del modello accessibile. Il risultato ottenuto con l’harness standard di ARC Prize offre il termine di confronto più chiaro per ARC-AGI-3, mentre il risultato del 99,9% con l’adattatore del fornitore descrive ciò che Astra può fare attraverso un’interfaccia OpenAI più specializzata.

L’attuale documentazione API di OpenAI indica GPT-6 Astra come il modello più capace dell’azienda per il ragionamento complesso, la programmazione, l’uso del computer, la ricerca e la creazione di documenti. Gli attribuisce una finestra di contesto di un milione di token, un output massimo di 128.000 token e tariffe API standard di 10 dollari per milione di token in input e 50 dollari per milione di token in output. Queste specifiche contano per i team che si occupano degli acquisti più di un singolo punteggio ottenuto il giorno del lancio, perché determinano il comportamento del modello nei carichi di lavoro ordinari e il costo del suo utilizzo.

Non è stato dimostrato che l’azienda abbia fabbricato i risultati di Astra. Il problema documentato è più circoscritto e concreto: i risultati dei benchmark sono cambiati ripetutamente nel periodo della pubblicazione, alcune modifiche hanno temporaneamente migliorato la posizione di Astra rispetto ai concorrenti e il risultato più eclatante su ARC-AGI-3 dipende da una configurazione di valutazione specifica del fornitore. Finché OpenAI non pubblicherà uno storico datato delle revisioni con le condizioni complete dei test, il dato del 99,9% dovrebbe essere letto come un risultato ottenuto da Astra insieme all’adattatore di OpenAI, non come un punteggio universale del modello in ogni ambiente.