The Pulse
Il campionamento best-of-N a livello di turno può migliorare l’accuratezza e la coerenza degli agenti LLM nei compiti a lungo orizzonte
Un preprint valuta un metodo che genera diverse azioni candidate a ogni turno e usa un modello linguistico per sceglierne una da eseguire. Gli autori riportano incrementi di accuratezza del 5–10%, una maggiore coerenza tra i tentativi e cam
AI.info Team · Scritto con l’IA · verificato ·
Il campionamento best-of-N a livello di turno può portare a miglioramenti dell’accuratezza del 5–10% e a una maggiore coerenza tra tentativi ripetuti in compiti complessi a lungo orizzonte svolti nel terminale, secondo un preprint sottoposto ad arXiv il 4 novembre 2026. Il metodo, chiamato Turn-BoN, usa un modello generatore per produrre azioni candidate a ogni turno e un modello selettore per sceglierne una da eseguire nell’ambiente.
Turn-BoN seleziona un’azione prima della sua esecuzione
Lo studio valuta Turn-BoN come approccio di scaling in fase di inferenza per gli agenti basati su grandi modelli linguistici. A ogni turno, un generatore propone N azioni candidate e un selettore ne sceglie una. Solo l’azione selezionata viene eseguita nell’ambiente; le altre candidate non richiedono l’esecuzione in una sandbox.
Gli autori esaminano se modelli linguistici a pesi aperti già disponibili possano confrontare direttamente le azioni candidate, senza addestrare un modello critico separato per valutarle. Descrivono l’approccio come collegato a lavori precedenti che usano modelli critici per la ricerca guidata in fase di inferenza, ma sperimentano il confronto diretto tra le azioni candidate.
Lo studio distingue Turn-BoN dal campionamento best-of-N a livello di traiettoria. In quest’ultimo, vengono generate in parallelo più traiettorie complete dell’agente, poi valutate con un modello di ricompensa basato sull’esito o con un LLM usato come giudice. Poiché la selezione avviene dopo che le traiettorie sono state completate, non può modificare le azioni intermedie eseguite durante quei tentativi.
Turn-BoN usa invece calcolo aggiuntivo a ogni turno per scegliere tra le azioni proposte prima che una venga eseguita. Gli autori osservano che altri metodi di ricerca, tra cui la ricerca in profondità e la ricerca ad albero Monte Carlo, esplorano azioni alternative a partire da stati intermedi. L’applicazione di questi metodi agli agenti interattivi può richiedere il salvataggio e il ripristino di stati precedenti dell’ambiente, un’operazione che in alcuni contesti potrebbe essere poco pratica.
Lo studio riporta miglioramenti e cambiamenti nel comportamento degli agenti
Gli esperimenti su compiti a lungo orizzonte svolti nel terminale mostrano miglioramenti nell’accuratezza e nella coerenza tra tentativi ripetuti. Lo studio riporta anche miglioramenti nei tassi di successo, tra cui pass@1 e pass@k, per i modelli generatori, i modelli selettori e le ampiezze di campionamento valutati.
Gli autori analizzano le traiettorie degli agenti per esaminare come il metodo ne modifichi il comportamento nel corso di tentativi completi. Riportano una riduzione dei turni eseguiti e dei comportamenti indesiderati legati a cicli ripetitivi, test e debugging, anche nei tentativi non riusciti. L’abstract individua inoltre, tra i comportamenti osservati, una migliore aderenza alle istruzioni dei compiti e miglioramenti nel debugging e nei test.
Lo studio presenta Turn-BoN come un miglioramento approssimato e basato sul campionamento della policy a un passo in fase di inferenza: un selettore sceglie tra le azioni proposte dal generatore, con l’obiettivo di migliorare la policy di rollout del generatore. Gli autori ricavano condizioni basate sul vantaggio atteso delle azioni selezionate, in presenza delle quali la policy risultante migliora quella del generatore.
L’approccio richiede calcolo aggiuntivo in fase di inferenza
Turn-BoN richiede di generare più azioni candidate e di richiamare un selettore a ogni turno, comportando quindi un notevole fabbisogno di calcolo aggiuntivo in fase di inferenza. Lo studio individua nello sviluppo di approssimazioni più efficienti dal punto di vista computazionale, che mantengano i miglioramenti delle prestazioni del metodo, una questione ancora aperta.
Il preprint si intitola «On Turn-Level Best-of-N Sampling for Scaling LLM Agents». Gli autori sono Jalaj Bhandari, Dhawal Gupta, Hongli Zhan, Zhenting Wang, Varad Pimpalkhute, Zhengzhong Liu, Eric Xing e Rupesh Srivastava.