Ottimizzazione multiscala delle policy per agenti LLM su orizzonti lunghi

Abstract degli autori

Gli agenti LLM che operano su orizzonti lunghi interagiscono con i loro ambienti attraverso turni completi dell’assistente, pur generando ogni azione token per token. Osserviamo che i valori del critico variano soprattutto da un turno all’altro: questo suggerisce di ancorare l’ottimizzazione ai turni, attribuendo il merito ai singoli token in modo più fine. Proponiamo Multiscale Policy Optimization (MPO), che combina Multiscale Advantage Estimation (MAE) e campionamento per importanza a livello di turno per allineare l’attribuzione del merito e gli aggiornamenti della policy alla scala dei turni. Ampi esperimenti su compiti di ricerca, uso di strumenti e automazione con modelli 4B e 30B-A3B mostrano miglioramenti costanti rispetto a solide baseline di RL.