The Pulse
Uno studio del MIT rileva che GPT-5.5 risolve il 34,6% dei problemi teorici
Uno studio di MIT FutureTech ha rilevato che GPT-5.5 di OpenAI è giunto alle stesse conclusioni degli autori umani nel 34,6% dei problemi teorici esaminati, contro il 2,8% di o1. I ricercatori hanno testato i modelli su problemi tratti da 2
AI.info Team · Scritto con l’IA ·
GPT-5.5 di OpenAI è giunto alla stessa conclusione dei ricercatori umani nel 34,6% di una serie di problemi teorici recenti, contro il 2,8% del precedente modello o1, secondo uno studio pubblicato il 13 ottobre da MIT FutureTech. I ricercatori hanno testato i modelli su problemi tratti da 254 articoli su arXiv, distribuiti in sette ambiti scientifici. Il confronto presentato riguarda modelli rilasciati tra dicembre 2024 e aprile 2026.
Da o1 a GPT-5.5 in 16 mesi
L’articolo, di Gabriel Manso, Claudio Mayrink Verdun e Neil Thompson, misura se la risposta di un modello coincide con la conclusione raggiunta dagli autori di ciascun articolo da cui è tratto il problema. La sintesi dello studio afferma: «Nel corso di questi sedici mesi, la quota di problemi per i quali i modelli sono giunti alla stessa conclusione degli autori umani è salita dal 2,8% (o1) al 34,6% (GPT-5.5), con un aumento di 22 punti percentuali all’anno». Gabriel Manso, Claudio Mayrink Verdun e Neil Thompson, «AI Disruption and Falling Costs in Theory Research»
I ricercatori hanno testato i modelli di OpenAI o1, o3, GPT-5, GPT-5.1, GPT-5.4 e GPT-5.5. Secondo il resoconto dello studio pubblicato da WIRED, i problemi usati nei test provenivano da articoli di ricerca pubblicati online tra dicembre 2025 e maggio 2026. I ricercatori hanno scelto problemi le cui soluzioni erano state pubblicate dopo la data limite dei dati di addestramento dei modelli e hanno bloccato l’accesso a Internet durante i test, limitando la possibilità che un modello trovasse una risposta anziché ricavarla.
Un test circoscritto del ragionamento scientifico
Gli ambiti comprendevano la teoria della probabilità e della statistica, la teoria economica, la teoria delle alte energie, la gravitazione e la cosmologia, e la fisica quantistica, oltre alla matematica. Lo studio si è concentrato deliberatamente su questioni teoriche che i modelli potevano affrontare senza condurre esperimenti o simulazioni. È un limite importante: i risultati non dimostrano che i modelli possano condurre autonomamente ricerche empiriche o fornire in modo affidabile risposte corrette nei diversi ambiti scientifici.
La concordanza con gli autori umani di un articolo è il criterio di valutazione dello studio, non una conferma sperimentale della risposta. I ricercatori considerano le conclusioni degli autori umani come dati di riferimento, ma il test verifica comunque se i modelli riproducono quelle conclusioni su un particolare campione. Il tasso complessivo rilevato dallo studio non va quindi interpretato come un tasso generale di successo nel lavoro scientifico.
Circa 15 dollari per tentativo riuscito
MIT FutureTech stima che ogni tentativo di GPT-5.5 costi circa 5 dollari, pari a circa 15 dollari per risposta concordante con quella degli autori, al tasso misurato. Il calcolo rende il risultato rilevante per i ricercatori che valutano se l’assistenza dell’IA possa ridurre i tempi e i costi del lavoro teorico. Non tiene conto del lavoro degli esperti necessario per valutare una soluzione o stabilire se sia utile.
Thompson ha dichiarato a WIRED: «Entro pochi anni, ci aspettiamo che molte questioni teoriche siano completamente trasformate per quanto riguarda la capacità dell’IA di affrontarle». I ricercatori avvertono inoltre che i risultati prodotti dai modelli richiedono un esame attento: Manso ha detto alla testata «Avremo ancora bisogno di persone che elaborino buone idee per collegare i vari elementi» e ha aggiunto che i problemi complessi possono mettere in luce errori. WIRED ha osservato che OpenAI aveva ritirato diverse soluzioni da un dataset dopo la pubblicazione, a ricordare che una derivazione apparentemente plausibile non costituisce di per sé una verifica.
Gli esperti restano parte della verifica
La conclusione più forte dello studio è un aumento misurato della concordanza con soluzioni elaborate da ricercatori umani su una serie definita di problemi teorici recenti, non la prova che l’IA abbia sostituito gli scienziati. I modelli testati provenivano tutti da OpenAI e il campione esclude le ricerche che richiedono esperimenti o simulazioni. Per ora, l’articolo quantifica una questione più circoscritta: quanto spesso un modello riesce a giungere alla stessa conclusione di un ricercatore su un problema per il quale non poteva semplicemente cercare la risposta.