The Pulse
GDPx di SemiAnalysis assegna al suo migliore agente IA un punteggio del 12%
Claude Opus 5.5 guida il benchmark GDPx di SemiAnalysis con un punteggio aggregato del 12% su 11 ambiti. Il benchmark usa diversi metodi di valutazione e i risultati per finanza e ambito legale includono punteggi parziali accanto ai puntegg
AI.info Team · Scritto con l’IA · verificato ·
Claude Opus 5.5 ottiene il 12% in GDPx, il risultato più alto nel nuovo benchmark di SemiAnalysis per gli agenti IA impegnati in 11 ambiti specialistici. Il punteggio è un risultato aggregato del benchmark e non significa che il modello svolga esattamente il 12% di tutto il lavoro professionale: GDPx combina compiti valutati con metodi diversi e attribuisce lo stesso peso a ogni ambito.
SemiAnalysis ha pubblicato il benchmark il 2 novembre 2026, con una classifica che comprende 20 modelli e una dashboard pubblica che elenca 206 compiti forniti da 14 partner specialisti. Gemini 4 Carbon ottiene il 10,9%, GPT-6 Astra il 9,6% e Muse Wonder Full il 9,0%, alle spalle di Opus. I risultati offrono una fotografia delle prestazioni degli agenti in lavori complessi, su una prova impegnativa, ma per confrontare i punteggi occorre tenere conto della struttura del benchmark e delle sue limitazioni.
GDPx mette alla prova il lavoro in 11 ambiti specialistici
Il benchmark copre progettazione di chip, cybersicurezza, biologia, finanza, lavoro legale, trading quantitativo, automiglioramento ricorsivo, progettazione hardware, scienza dei materiali, allineamento e ingegneria del software. SemiAnalysis afferma di aver scelto ambiti in cui si aspetta che l’IA di frontiera abbia un elevato valore economico, invece di costruire un test ad ampio spettro basato sulla quota di PIL attribuibile a ciascuna professione. La newsletter afferma che il benchmark esclude i settori pubblico, immobiliare e assicurativo, mentre la sezione sull’allineamento descrive separatamente tre compiti assicurativi.
I compiti provengono da 14 partner specialisti, tra cui LatchBio per la biologia, Third Moment per il trading quantitativo e Living Context per la finanza. In alcuni ambienti gli agenti operano all’interno di laboratori simulati o strumenti ingegneristici; un esempio in ambito finanziario si basa su migliaia di file di transazioni anonimizzati. Il limite di tempo standard per un compito di GDPx è di otto ore, anche se alcuni hanno limiti più brevi. I modelli operano nel loro ambiente nativo per agenti, quando disponibile; in caso contrario, SemiAnalysis afferma di utilizzare OpenCode come soluzione predefinita.
GDPx è un vero benchmark di frontiera: persino il modello migliore ottiene appena il 12%.
Max Kan, Andrew Megalaa e Dylan Patel, autori di SemiAnalysis
Un unico punteggio complessivo nasconde forti differenze
Il modello migliore varia a seconda dell’ambito. Secondo SemiAnalysis, Opus 5.5 è in testa nel trading quantitativo, nella progettazione hardware e nella progettazione di chip; GPT-6 Astra guida l’automiglioramento ricorsivo e la scienza dei materiali; Gemini 4 Carbon primeggia nella biologia ed è di poco in testa nell’ingegneria del software. La newsletter afferma che i compiti di finanza e dell’ambito legale sono troppo difficili per tutti i modelli secondo la valutazione binaria prevista, ma riporta i punteggi parziali medi per entrambi gli ambiti.
La valutazione non è uniforme. Il punteggio principale usa pass@1 su tre tentativi, attribuendo lo stesso peso a tutti gli 11 ambiti, mentre i singoli compiti sono valutati con un metodo binario o parziale. In finanza, SemiAnalysis afferma che una valutazione rigorosa basata sul superamento o meno della prova darebbe a ogni modello zero, e riporta quindi i punteggi parziali medi. Descrive in modo simile i compiti legali: tutti i modelli sono troppo deboli secondo la valutazione binaria prevista e anche la classifica riporta i punteggi parziali medi. Un risultato aggregato del 12% non può quindi essere letto come una semplice percentuale di compiti completati con successo.
I filtri di sicurezza complicano la classifica
Gli autori affermano che i classificatori di sicurezza abbassano i punteggi complessivi di Opus 5.5 e GPT-6 Astra in cybersicurezza, biologia e allineamento. Escludere questi tre ambiti cambia il confronto, anche se l’articolo non indica nel testo i punteggi esatti così ricalcolati. SemiAnalysis segnala anche la «discontinuità» nelle prestazioni dei modelli: una posizione elevata nella classifica generale non significa che un modello sia in testa in ogni tipo di lavoro.
A queste limitazioni si aggiunge una scelta metodologica che influisce sui confronti: i modelli hanno operato in ambienti nativi diversi, quando disponibili. SemiAnalysis afferma inoltre che i suoi compiti sono stati sottoposti a controlli automatici della qualità e a una revisione manuale, ma GDPx è un nuovo benchmark realizzato dalla società e dai suoi partner, non una valutazione indipendente delle scelte di valutazione del benchmark stesso. La dashboard pubblica fornisce i risultati per ciascun ambito, che i lettori possono esaminare insieme alla classifica principale.
Il benchmark è progettato per cambiare
SemiAnalysis descrive GDPx come un benchmark in evoluzione e afferma di prevedere aggiornamenti ogni tre-sei mesi, al variare delle capacità dei modelli. Questa cadenza renderà utili i risultati successivi solo se i lettori potranno seguire ciò che è cambiato tra una versione e l’altra: i compiti, i contributi dei partner, gli ambienti dei modelli e le regole di valutazione. Per questa prima versione, il dato più evidente è il divario tra il punteggio aggregato più alto e un risultato perfetto: Opus 5.5 ottiene il 12% negli 11 ambiti del benchmark.