TokenCast: prevedere il consumo di token durante l’esecuzione di agenti LLM

Abstract degli autori

Quando un agente basato su un modello linguistico di grandi dimensioni (LLM) svolge lo stesso compito, il consumo di token può variare di oltre un ordine di grandezza tra un’esecuzione e l’altra. L’agente sceglie i passi successivi in base alle risposte degli strumenti e ai risultati intermedi, mentre la crescita del contesto aumenta progressivamente la dimensione dell’input di ogni chiamata successiva. Il consumo totale per un compito è quindi difficile da prevedere prima dell’esecuzione e la previsione deve essere aggiornata man mano che questa procede. In questo articolo proponiamo TokenCast, che apprende una rappresentazione componibile del costo di ciascun segmento di esecuzione, registrandone il consumo e la crescita del contesto che introduce. Componendo segmenti adiacenti si ottiene una stima cumulativa che tiene conto del costo aggiuntivo dell’input quando il contesto dei segmenti precedenti viene riletto a ogni chiamata successiva. Nel corso dell’esecuzione, le nuove informazioni osservate aggiornano la previsione senza richiedere ulteriori chiamate al modello LLM; su SWE-bench Verified, il tempo medio cumulativo impiegato per le previsioni è di 32,8 ms per esecuzione. Su 4 suite di compiti e 6 modelli di agenti, la riduzione dell’errore assoluto medio ottenuta da TokenCast rispetto al miglior metodo di confronto è in media del 14,5% sulle 96 combinazioni valutate. In una riproduzione offline per il controllo del budget, TokenCast usa in media il 21,3% di token in meno rispetto a una politica con budget fisso, a parità di completamento delle tracce. Il codice è disponibile all’indirizzo https://github.com/DEFENSE-SEU/TokenCast.