The Pulse

L’output degli strumenti recuperato riduce l’accuratezza di GPT-5.1 di 11,3 punti

Uno studio sugli agenti di IA che utilizzano il simulatore geochimico PHREEQC ha rilevato che recuperare l’output di uno strumento, anziché riceverlo direttamente nel contesto, ha ridotto l’accuratezza aggregata di GPT-5.1 di 11,3 punti per

AI.info Team · Scritto con l’IA · verificato · 2026-10-20

«Gli agenti basati su LLM che calcolano la risposta giusta possono comunque rispondere in modo errato».

Scrivono Ke Zhang, Sahchit Chundur, Jerry Peprah Owusu, Mohammad Javad Abdolhosseini Qomi e Maziar Raissi, autori dello studio.

Un nuovo studio rileva che il modo in cui un agente di IA riceve i risultati di uno strumento può determinare se risponde correttamente, anche quando la sua simulazione produce il valore giusto. Negli esperimenti con il simulatore geochimico PHREEQC, l’accuratezza aggregata di GPT-5.1 è diminuita di 11,3 punti percentuali quando il rapporto veniva presentato come indice consultabile delle sezioni, anziché essere inserito direttamente nel contesto del modello.

Lo studio, inviato ad arXiv il 19 ottobre, esamina una scelta pratica per chi sviluppa agenti: mettere un lungo output di uno strumento direttamente a disposizione di un modello oppure conservarlo perché il modello lo recuperi quando serve. Gli autori riconducono gli errori non soltanto a calcoli falliti, ma anche alla scelta delle prove sbagliate da parte degli agenti dopo che un calcolo è riuscito.

158 domande che richiedono PHREEQC mettono in luce un compromesso legato al recupero

I ricercatori hanno messo alla prova sei modelli, tra cui GPT-5.1, GPT-5.2, GPT-5.4, Claude Opus 4.6, Claude Sonnet 4.6 e Gemini 3 Flash Preview, con domande a scelta multipla che richiedevano PHREEQC, un simulatore di geochimica delle soluzioni acquose. Hanno conservato 158 domande dopo aver rieseguito un insieme iniziale di 200 e verificato che ciascuna risposta corrispondesse a un risultato stabile e univocamente corretto. Alcuni rapporti del simulatore arrivavano a 846.800 caratteri, una lunghezza sufficiente a creare un concreto problema di gestione del contesto.

Nella condizione con inserimento diretto, gli agenti ricevevano il rapporto nel proprio contesto, troncato a 100.000 caratteri quando necessario. Nella condizione con recupero, ricevevano un indice delle sezioni del rapporto e potevano leggere intervalli di righe selezionati. Lo studio ha esaminato anche una condizione basata sulla ricerca per parole chiave e, per alcuni modelli, un approccio ibrido che inseriva direttamente i rapporti quando rientravano nel limite.

I risultati variavano a seconda del modello. Nel confronto aggregato dei ricercatori tra diverse esecuzioni, il recupero ha ridotto l’accuratezza di GPT-5.1 di 11,3 punti percentuali. Questa stima aggregata differisce dai risultati di una singola esecuzione: l’accuratezza era del 67,7% con l’inserimento diretto e del 57,0% con il recupero, uno scarto di 10,7 punti. La differenza aggregata era statisticamente significativa dopo la correzione dello studio per i confronti multipli. Il calo stimato per GPT-5.2 era di 7,9 punti, ma quel risultato aggregato non raggiungeva la soglia di significatività corretta. Claude Opus 4.6, Claude Sonnet 4.6 e GPT-5.4 non mostravano alcuna variazione netta rilevabile dell’accuratezza in quel confronto. I ricercatori hanno escluso Gemini 3 Flash Preview dalle analisi successive perché spesso non forniva una risposta analizzabile automaticamente.

Gli agenti spesso si fidano dei propri file più che del simulatore

Per individuare dove si verificavano gli errori, gli autori hanno rieseguito 11.007 chiamate al simulatore registrate nei log e verificato se un agente avesse prodotto il valore corretto, lo avesse visto e avesse poi risposto correttamente. Con il recupero, GPT-5.1 e GPT-5.2 spesso saltavano il rapporto ufficiale e leggevano invece i propri file di output selezionato. Questi file potevano riportare più cifre rispetto al rapporto, lasciando all’agente il compito di arrotondare un valore per farlo corrispondere alle opzioni di risposta.

Quella maggiore precisione diventava una trappola. Per esempio, un file poteva mostrare un pH di 2,75065 mentre il rapporto del simulatore riportava 2,751, il valore corretto tra le risposte a scelta multipla. GPT-5.1 e GPT-5.2 spesso troncavano il numero più lungo a 2,750, un’opzione vicina ma sbagliata. Quando la simulazione di GPT-5.2 già registrata nei log veniva mantenuta invariata e cambiava soltanto la modalità di presentazione del rapporto, il recupero riduceva comunque l’accuratezza di 9,4 punti.

GPT-5.4 mostra perché un punteggio finale può nascondere un errore del genere. Anche il modello a volte si affidava al proprio output e perdeva accuratezza nella fase di utilizzo delle prove, ma con il recupero le sue simulazioni producevano più spesso il valore indicato come corretto. Questi effetti opposti lasciavano pressoché invariata la sua accuratezza complessiva.

Indicare il rapporto autorevole è servito; i consigli sull’arrotondamento no

I ricercatori hanno poi detto agli agenti di leggere la sezione pertinente del rapporto del simulatore e di considerare autorevole il valore che vi era riportato. Per i tre modelli GPT sottoposti a questo intervento, l’istruzione ha aumentato l’accuratezza di 6,3-7,9 punti rispetto al semplice recupero, riducendo nettamente gli errori dovuti al mancato esame del rapporto e all’arrotondamento. Un’istruzione separata che invitava ad arrotondare con attenzione, senza indicare di quale file fidarsi, non ha risolto il problema.

Ha aiutato anche un’impostazione ibrida: i rapporti venivano inseriti direttamente quando rientravano nel limite di 100.000 caratteri, mentre per gli output più lunghi si usava il recupero. Secondo gli autori, chi progetta l’infrastruttura degli agenti dovrebbe verificare come ciascun modello gestisce il metodo scelto per presentare l’output ed esaminare dove si verificano gli errori, anziché affidarsi soltanto al punteggio finale.

Il risultato ha dei limiti. Gli esperimenti riguardano un solo simulatore scientifico e una serie di domande di geochimica verificate; i modelli erano sistemi chiusi a cui si accedeva tramite le rispettive API e gli autori non hanno stabilito quali caratteristiche dei modelli spieghino la differenza tra GPT e Claude. Per questi compiti con PHREEQC, dire all’agente di quale rapporto fidarsi ha funzionato meglio che limitarsi a dirgli di arrotondare correttamente.