The Pulse
Il miglior sistema di First Proof risolve 9 problemi di ricerca matematica su 10
Nel terzo benchmark di First Proof, il sistema con le migliori prestazioni ha risolto 9 problemi inediti di ricerca matematica su 10, mentre il sistema basato su un modello a pesi aperti non ha prodotto alcuna risposta priva di errori gravi
AI.info Team · Scritto con l’IA ·
Il sistema con le migliori prestazioni di First Proof ha risolto 9 problemi di ricerca matematica su 10 nell’ultimo test del progetto; il sistema basato su un modello a pesi aperti non ha prodotto alcuna risposta priva di errori gravi. I risultati, pubblicati il 14 ottobre 2026, mostrano un divario misurabile tra i sistemi testati, ma anche che le risposte migliori hanno comportato costi molto più elevati.
La terza serie di test ha messo alla prova cinque sistemi di IA su dieci problemi inediti tratti dalla ricerca matematica in corso. I revisori hanno constatato che almeno un sistema ha risolto ciascun problema, lasciando da parte le carenze nelle citazioni e nell’esposizione. L’unico sistema basato su un modello a pesi aperti, Kimi K3 di Moonshot AI, non ha fornito alcuna soluzione priva di errori gravi.
Cinque sistemi, dieci problemi inediti
I problemi riguardavano ambiti tra cui geometria, topologia, statistica e dinamica. Ciascuno aveva una soluzione scritta da esseri umani lunga non più di 12 pagine, e gli organizzatori hanno dato a ogni sistema 24 ore per lavorare senza intervento umano. Circa 30 revisori esperti hanno valutato le risposte anonimizzate per correttezza matematica, chiarezza espositiva e attribuzione dei lavori precedenti.
Il confronto ha riguardato i sistemi, non soltanto i modelli alla loro base. Tra i partecipanti figuravano test diretti di GPT-6 Astra di OpenAI e dell’harness Siege di Anthropic, oltre a ProofCouncil e MerLean, costruiti da gruppi accademici attorno a più modelli. Un quinto sistema, Humanize, utilizzava il modello a pesi aperti Kimi K3. First Proof definisce un harness come un software in grado di suddividere il lavoro in passaggi, verificare i risultati ed effettuare chiamate ripetute al modello; nella pubblicazione osserva che lo stesso modello può ottenere prestazioni diverse con harness diversi.
Le 9 soluzioni di ProofCouncil sono costate 1.888 dollari
ProofCouncil ha risposto correttamente a 9 problemi, con un costo dichiarato di 1.888 dollari. Un test diretto di GPT-6 Astra ha risposto correttamente a 7 problemi per 36 dollari. Secondo la pubblicazione, entrambi hanno migliorato di 2 il numero di risposte corrette rispetto alla serie precedente; quei test erano costati 3.200 dollari per ProofCouncil e 117 dollari per OpenAI.
Il sistema basato su Kimi K3 è costato circa 2.000 dollari, ma ogni sua risposta conteneva errori gravi, secondo gli organizzatori. I revisori lo hanno giudicato generalmente meno capace di GPT-5.2 Pro, che First Proof indica come il modello di frontiera migliore nel dicembre 2025. Il risultato riguarda quello specifico modello a pesi aperti e la configurazione del test; non stabilisce quali prestazioni otterrebbe ogni modello a pesi aperti.
Risposte corrette, ma dimostrazioni ancora poco chiare
Ottenere il risultato matematico corretto non garantiva una buona soluzione scritta. Solo 4 delle 10 risposte di GPT-6 Astra hanno ricevuto valutazioni adeguate per le citazioni, contro 7 per ProofCouncil, che utilizzava Astra come modello di base. Persino ProofCouncil, il sistema con il punteggio più alto, ha ricevuto punteggi medi negativi per l’esposizione in un terzo delle sue risposte.
Il divario solleva anche una questione di accesso: un sistema che migliora i risultati impiegando più risorse di calcolo può essere molto più costoso di una singola interrogazione del modello. Gli autori del rapporto — Mohammed Abouzaid, Nikhil Srivastava, Rachel Ward e Lauren Williams — scrivono:
Utilizzando più risorse di calcolo, è possibile migliorare sensibilmente le prestazioni rispetto a una singola interrogazione di GPT-6 Astra, ma ciò comporta un costo economico significativo e suscita il timore che l’accesso alle risorse di calcolo possa diventare un ostacolo per la ricerca di base in matematica.
First Proof prevede test separati a gennaio
First Proof afferma che la prossima serie di test è prevista per la prima metà di gennaio 2027. Gli organizzatori intendono testare separatamente i sistemi di frontiera e quelli a pesi aperti, con l’obiettivo di individuare come falliscono i sistemi a pesi aperti. Il progetto ha pubblicato i problemi del benchmark, le soluzioni, le relazioni dei revisori, i log dei sistemi e i costi, consentendo ai lettori di esaminare gli elementi alla base dei punteggi.
I risultati di ottobre lasciano due domande concrete per la prossima serie: se un diverso modello a pesi aperti o un diverso harness possa ridurre il divario e se i miglioramenti ottenuti dai sistemi basati su più modelli possano diventare economicamente accessibili ai ricercatori che non dispongono di grandi budget per il calcolo.