The Pulse
Claude Opus 5.5 (xhigh) risolve il 18,5% di ProgramBench con mini-SWE-agent
Claude Opus 5.5 (xhigh), valutato con mini-SWE-agent, risolve completamente il 18,5% delle 200 attività di ricostruzione software di ProgramBench e supera almeno il 95% dei test comportamentali nel 70,5% delle attività. Quest’ultima percent
AI.info Team · Scritto con l’IA · verificato ·
Claude Opus 5.5 (xhigh), valutato con mini-SWE-agent, risolve completamente il 18,5% delle attività di ricostruzione software di ProgramBench e supera almeno il 95% dei test comportamentali nel 70,5% delle attività. La seconda percentuale include le attività risolte completamente: non è un conteggio separato delle attività quasi riuscite, ma che non hanno superato almeno un test.
La classifica di ProgramBench riporta i risultati su 200 attività. In base a queste percentuali, 37 attività sono state risolte completamente, mentre 141 hanno raggiunto la soglia «quasi» del benchmark, superando almeno il 95% dei test.
Da zero attività risolte completamente al 18,5%
ProgramBench misura se un agente di IA riesce a ricostruire un software a partire da un programma compilato e dalla sua documentazione. Le sue 200 attività vanno da piccoli strumenti a riga di comando a progetti importanti come SQLite, FFmpeg e l’interprete PHP. Gli agenti devono riprodurre il comportamento del programma di riferimento; non ricevono un’implementazione prestabilita da copiare.
Quando l’articolo sul benchmark è stato pubblicato nel maggio 2026, nessuno dei nove modelli valutati aveva risolto completamente un’attività. Il risultato migliore aveva raggiunto la soglia «quasi» dell’articolo — almeno il 95% dei test superati — nel 3% delle attività. L’articolo riferisce che il modello migliore aveva superato il 95% dei test solo nel 3% delle attività; la classifica attuale riporta separatamente Claude Opus 4.7 allo 0% di attività risolte e al 3% di attività «quasi» risolte.
«Quasi» include le attività risolte completamente
I dati attuali affiancano due misure che si sovrappongono: Opus 5.5 risolve completamente il 18,5% delle attività e raggiunge la soglia «quasi» nel 70,5%. La prima percentuale conta le attività in cui sono stati superati tutti i test. La seconda conta quelle in cui ne è stato superato almeno il 95%, comprese le attività che hanno superato tutti i test.
Il punteggio «quasi», più alto, segnala un progresso, ma non equivale alla rigorosa misura delle attività risolte del benchmark. Un’attività è considerata risolta solo se supera tutti i test; un risultato inferiore al 100% può ancora lasciare alcuni comportamenti non riprodotti. La classifica non specifica quali test spieghino la differenza per ciascuna attività.
Un benchmark basato sul comportamento, non sulla somiglianza del codice
Gli autori di ProgramBench hanno progettato la valutazione per mettere alla prova lo sviluppo software in senso ampio, anziché la correzione di un singolo bug o l’aggiunta di una funzionalità richiesta. Gli agenti ricevono un programma e la sua documentazione, poi costruiscono una base di codice il cui comportamento corrisponda a quello dell’eseguibile di riferimento. Gli autori dell’articolo descrivono così l’attività:
In ProgramBench, avendo a disposizione soltanto un programma e la sua documentazione, gli agenti devono progettare e implementare una base di codice il cui comportamento corrisponda a quello dell’eseguibile di riferimento.
Secondo l’articolo, le 200 attività comprendono strumenti compatti a riga di comando e software ampiamente usati come FFmpeg e SQLite. L’agente deve scegliere un linguaggio, progettare l’architettura, scrivere il codice sorgente e produrre uno script di compilazione. ProgramBench confronta il comportamento del programma presentato con quello dell’originale usando la propria suite di test.
Questa impostazione rende il punteggio una misura della capacità di un agente di ricostruire il comportamento di un programma su un’ampia suite di test. Non dimostra che Opus 5.5 sia in grado di ricostruire autonomamente qualsiasi sistema in produzione, né un singolo benchmark può stabilire quanto bene il modello svolga le normali attività di programmazione.
Clark si aspetta ulteriori progressi nel benchmark
Jack Clark, autore della newsletter di ricerca Import AI, si aspetta che ProgramBench raggiunga un punteggio elevato entro la fine del 2027, pur riconoscendo che il benchmark potrebbe avere un limite massimo inferiore al 100%. È una sua previsione, non un risultato accertato dalla valutazione attuale. Per ora, la classifica di ProgramBench riporta per Opus 5.5 (xhigh) con mini-SWE-agent il 18,5% di attività risolte completamente e il 70,5% di attività «quasi» risolte, sulle 200 attività.