Quando gli agenti rallentano: le strategie in fase di test degli agenti LLM attraverso l’analisi Elo per token

Abstract degli autori

Gli agenti basati su modelli linguistici di grandi dimensioni (LLM) adattano le risorse di calcolo impiegate in fase di test mentre rivedono le soluzioni, usano strumenti, esplorano alternative e decidono quando fermarsi. Questa strategia rende difficile misurare come crescano le prestazioni degli agenti. Studiamo compiti aperti che assegnano punteggi continui alle soluzioni presentate nelle fasi intermedie, rendendo osservabili i progressi lungo traiettorie estese. Proponiamo un’analisi Elo per token che tiene traccia della migliore soluzione trovata per ciascun budget di token e usa un modello Bradley-Terry per aggregare gli ordinamenti interni a ciascun compito in valutazioni Elo comparabili tra compiti con scale di punteggio diverse. La applichiamo a quattro agenti generalisti su quattro benchmark aperti, con sessioni fino a 100 milioni di token, e a tre sistemi di ottimizzazione degli LLM guidati dal feedback in interventi controllati su un singolo compito. Il campionamento indipendente offre un riferimento caratterizzato teoricamente, per il quale l’Elo cresce linearmente con il logaritmo delle risorse di calcolo. Rispetto a questo riferimento, gli agenti possono inizialmente convertire i token in Elo più rapidamente del campionamento indipendente, ma i loro guadagni marginali diminuiscono e alla fine scendono sotto il riferimento. Al contrario, i concorrenti umani storicamente più forti migliorano in modo più che lineare con il passare del tempo di gara negli stessi compiti dell’AtCoder Heuristic Contest: un risultato che indica apprendimento continuo e un ampio margine di miglioramento dopo che gli agenti rallentano. Definiamo il punto di flesso della crescita come il budget per sessione in cui i guadagni marginali in Elo eguagliano quelli del campionamento indipendente. Usando questo punto come budget per sessione, suddividiamo 100 milioni di token tra sessioni parallele su FrontierCS Polyomino Packing, ottenendo +264 Elo rispetto a un’unica sessione lunga e +355 rispetto a dieci sessioni brevi.