The Pulse
TasteVal rileva che Opus 5.5 usa metà della potenza di calcolo dei ricercatori esperti
Il benchmark TasteVal di P-Zero Research rileva che Opus 5.5 raggiunge risultati di livello esperto in otto compiti di ricerca sull’IA, con un moltiplicatore della potenza di calcolo di 2,3x. Lo studio rileva inoltre che i compiti mettono a
AI.info Team · Scritto con l’IA ·
Opus 5.5 ha eguagliato il risultato di riferimento degli esperti nel benchmark usando circa metà della potenza di calcolo necessaria per gli esperimenti eseguiti in sequenza, secondo TasteVal, un nuovo studio sulla capacità dei sistemi di IA di progettare esperimenti e interpretarne i risultati. Il modello ha registrato un moltiplicatore della potenza di calcolo di 2,3x, con un intervallo di confidenza al 95% compreso tra 1,15x e 4,37x. Il risultato proviene da otto compiti di ricerca sull’IA creati da P-Zero Research, non da una valutazione ampia della scoperta scientifica.
Otto compiti, una H100 alla volta
Gli autori Oliver Jaffe e Dane Sherburn hanno progettato TasteVal per distinguere il giudizio nella ricerca dalla scrittura di codice. Il modello valutato propone esperimenti e ne esamina i risultati; un agente di programmazione fisso, Opus 4.8, li implementa e li esegue. Ogni tentativo può usare fino a 40 ore di GPU H100 o 120 ore di tempo effettivo, a seconda di quale limite venga raggiunto per primo.
I compiti riguardano, tra le altre cose, l’addestramento di modelli linguistici, la selezione dei dati per il preaddestramento, la modellazione delle preferenze umane e la verifica della resistenza ai prompt avversari. I ricercatori hanno reclutato 24 esperti umani, assegnandone almeno due a ogni compito, e hanno usato il miglior tentativo umano per ciascun compito come riferimento per il confronto. Hanno valutato 20 modelli pubblicati dal 2023 al 2026, con sei esecuzioni per modello e per compito.
«Il modello con le prestazioni migliori, Opus 5.5, supera il nostro riferimento degli esperti, con un moltiplicatore della potenza di calcolo di 2,3x (intervallo di confidenza al 95%: 1,15-4,37), a circa 1/30 del costo medio per esecuzione dei ricercatori presi come riferimento», scrivono Jaffe e Sherburn nello studio.
L’efficienza nell’uso della potenza di calcolo è cresciuta più rapidamente dei punteggi finali
Il moltiplicatore al centro del risultato misura quanta potenza di calcolo GPU, impiegata in sequenza, serve a un sistema per raggiungere un punteggio ottenuto dagli esperti di riferimento. Un moltiplicatore di 2x significa raggiungere lo stesso punteggio con metà della potenza di calcolo sullo stesso hardware; non significa che il modello usi metà delle GPU o ottenga un punteggio finale doppio.
Gli autori stimano che il moltiplicatore della potenza di calcolo dei modelli di frontiera sia raddoppiato circa ogni tre mesi dopo dicembre 2025, contro un raddoppio ogni 14 mesi circa prima di allora. La stima ha un intervallo di confidenza al 95% compreso tra 1,7 e 5,0 mesi. Non hanno riscontrato un corrispondente balzo nelle prestazioni finali normalizzate: questa misura è raddoppiata ogni 14,6 mesi nel periodo studiato.
I ricercatori affermano di avere più fiducia nella tendenza complessiva che nel moltiplicatore di un singolo modello. Le prestazioni variavano considerevolmente tra i compiti e l’incertezza dell’analisi dipende in larga parte dal numero limitato di compiti del benchmark. Il risultato di Opus 5.5 costituisce quindi una prova relativa a questo test, non una misura generale della rapidità con cui l’IA può condurre ricerca.
Cosa resta fuori dal benchmark
TasteVal verifica quali tentativi compiere dopo che un problema di ricerca è già stato scelto. Non misura se un modello sappia individuare quali problemi valga la pena affrontare. I suoi compiti forniscono inoltre segnali di validazione chiari e punteggi ottenuti rapidamente, con un rumore relativamente basso, su una sola H100: condizioni diverse da quelle di molti progetti di ricerca di frontiera.
L’esame dei registri degli esperimenti contenuto nello studio ha rilevato un’ulteriore differenza tra i modelli e i migliori tentativi umani: le persone misuravano più spesso la variabilità tra esecuzioni ripetute e scartavano i miglioramenti inferiori a tale variabilità. Gli autori riferiscono inoltre che gli esperimenti dei modelli tendevano ad apportare modifiche incrementali anziché introdurre nuove idee. Nelle conclusioni scrivono che i progressi finora sono derivati da «un’ottimizzazione superficiale e moderata, piuttosto che da idee nuove».
I compiti del benchmark restano privati affinché i modelli non possano addestrarsi su di essi prima della valutazione. TasteVal offre quindi un modo ripetibile per confrontare l’efficienza nella scelta degli esperimenti man mano che i sistemi cambiano, ma il suo punteggio non può stabilire se tali sistemi siano in grado di definire autonomamente un programma di ricerca di valore. Quanto del vantaggio misurato rimarrebbe in progetti più lenti e meno ordinati, privi di un segnale per ottenere rapidamente un punteggio?