The Pulse

Taste-Bench: il punteggio più alto tra 14 modelli è del 59,7%

Un articolo scientifico presenta Taste-Bench, un benchmark che verifica se i modelli di IA sanno scegliere una direzione promettente prima di conoscerne l’esito. Il modello con il punteggio più alto ha raggiunto il 59,7%, mentre la percentu

AI.info Team · Scritto con l’IA · verificato · 2026-10-19

«Valutiamo i modelli di frontiera con Taste-Bench e scopriamo che il modello migliore risponde correttamente solo al 59,7% delle domande».

Scrivono Wenbo Pan e i coautori dell’articolo

Wenbo Pan e altri otto autori hanno pubblicato il loro articolo su arXiv il 22 settembre 2026, presentando Taste-Bench, un test che verifica se i modelli di IA sanno scegliere la direzione migliore prima che sia noto l’esito di un compito. L’articolo è stato rivisto il giorno seguente. Il risultato centrale: il migliore dei 14 modelli valutati ha risposto correttamente a meno di sei domande su 10 riguardanti una decisione.

I ricercatori chiamano questa capacità «gusto» di un agente. Il loro benchmark riguarda le scelte compiute durante lunghi lavori di ingegneria e ricerca, come decidere su quale implementazione software basarsi o quale esperimento portare avanti, anziché limitarsi a verificare se un agente alla fine completa un compito.

Taste-Bench valuta la scelta, non il risultato finale

Ognuna delle 502 domande presenta un compito, i passaggi registrati fino al momento della decisione e due possibili mosse successive. Il modello deve sceglierne una senza vedere il lavoro successivo che rivela quale direzione ha prodotto il risultato migliore. Le domande derivano da sequenze di lavoro nell’ingegneria del software e nella ricerca sull’apprendimento automatico.

Il gruppo ha costruito le domande in due modi. Le biforcazioni «parallele» confrontano tentativi distinti di svolgere lo stesso compito, che hanno preso strade diverse e prodotto risultati differenti. Le biforcazioni «con deviazione» registrano un agente che abbandona una direzione dopo un insuccesso e riesce a proseguire seguendo un’altra strada. Queste ultime verificano se un modello sa individuare una mossa sbagliata prima che lo facesse l’agente nell’esecuzione registrata.

La procedura degli autori ha proposto 4.657 biforcazioni, ma solo 502 hanno superato i filtri pensati per eliminare le domande la cui risposta si poteva indovinare dalle sole opzioni o i cui esiti non consentivano di stabilire chiaramente quale fosse quella corretta. Delle domande pubblicate, 390 riguardano l’ingegneria e 112 la ricerca. Nell’esame di un campione di 100 domande, le scelte esplicite dei revisori umani hanno coinciso con le risposte ricavate dai dati in 170 casi su 172.

Quando servono elementi successivi, i punteggi si avvicinano a quelli del caso

GPT-5.6 Sol ha ottenuto il 59,7% nella misura media del benchmark, che attribuisce lo stesso peso ai sottoinsiemi di ingegneria e ricerca. GPT-5.5 è seguito con il 59,5%. Il punteggio non indica la probabilità percentuale di completare un compito: misura le scelte nelle domande del benchmark, e una domanda conta come corretta solo se il modello seleziona l’opzione giusta in entrambe le versioni, nelle quali le opzioni sono presentate in ordine inverso.

Con questa regola di valutazione, chi risponde a caso ottiene il 25%. La percentuale di risposte corrette è diminuita man mano che gli elementi necessari per valutare una scelta emergevano più tardi: in media sui 14 modelli, è scesa dal 62,3% quando l’informazione decisiva era già nella cronologia visibile del compito al 21,0% quando per ottenerla serviva altro lavoro. Quest’ultimo risultato è inferiore al valore di riferimento del benchmark per le risposte date a caso.

Concedere ai modelli un maggiore sforzo di ragionamento ha contribuito poco a colmare il divario nella prova limitata condotta su due modelli. Passando dall’impostazione più bassa a quella più alta, la percentuale di risposte corrette di GPT-5.6 Sol è scesa di 0,2 punti percentuali e quella di GPT-5.6 Luna è salita di 2,2 punti. Lo studio, quindi, non rileva miglioramenti significativi dovuti a questo cambiamento nelle due prove, ma non dimostra che un maggiore sforzo di ragionamento non aiuti mai altri modelli.

La distillazione migliora il punteggio di un modello nei compiti di ingegneria

Gli autori hanno anche verificato se l’addestramento potesse migliorare la capacità di giudizio misurata. Hanno distillato in Qwen3.6-27B il ragionamento di un modello insegnante informato sugli esiti, poi hanno valutato il modello allievo su domande di ingegneria tratte da compiti esclusi durante l’addestramento. La percentuale di risposte corrette è salita dal 30,0% del modello di base al 47,9% del modello allievo.

In una prova separata su 41 compiti SWE-bench Pro tenuti fuori dall’addestramento, un esecutore fisso ha completato il 14,6% dei compiti senza suggerimenti e il 33,7% con i suggerimenti del modello allievo ottenuto tramite distillazione. Fornire il suggerimento corretto a ogni momento decisionale ha portato il tasso di successo al 39,0%, il limite superiore indicato dagli autori per questa configurazione. I suggerimenti sono stati ricavati da esecuzioni precedenti degli stessi compiti, quindi il risultato verifica se aiutano una nuova esecuzione, non se il modello allievo sia da solo responsabile dell’intero miglioramento.

Gli esiti registrati sono utili, ma costituiscono prove imperfette

Taste-Bench usa ciò che è accaduto in seguito nelle sequenze di lavoro registrate per stabilire quali scelte precedenti fossero corrette. Questo permette di costruire domande senza chiedere a esperti di annotare ogni decisione, ma un esito può dipendere anche dalla qualità dell’esecuzione e da fattori ambientali. Gli autori affermano di selezionare i casi in cui l’esito registrato deriva chiaramente dalla direzione scelta; la revisione umana offre una verifica delle risposte così stabilite, non una prova randomizzata dell’effetto di ciascuna decisione.

Il contributo del benchmark è offrire una misura distinta del comportamento di un agente: non se un sistema arriva alla fine, ma se sceglie una strada sostenuta dagli elementi disponibili mentre le conseguenze restano ignote. Il modello migliore ha ottenuto il 59,7% nella prova con le opzioni presentate in entrambi gli ordini descritta nell’articolo, e la categoria più difficile, quella delle scelte giustificabili solo dopo altro lavoro, ha registrato una media del 21,0% tra i modelli valutati.