L’RL a lungo orizzonte richiede Muon

Abstract degli autori

Gli agenti che operano su orizzonti lunghi devono coordinare ragionamento, uso degli strumenti e feedback dell’ambiente nel corso di interazioni prolungate. Apprendere da ricompense sparse basate sull’esito richiede di ponderare traiettorie di lunghezza diversa e aggiornare la policy mentre la raccolta dei rollout è ancora in corso. Esaminiamo una procedura asincrona con un solo rollout che combina Muon, una funzione di perdita mediata sui token, il campionamento per importanza troncato e penalità ausiliarie per la lunghezza e gli errori degli strumenti. Il campionamento con un solo rollout consente l’apprendimento asincrono senza attendere più traiettorie per la stessa segnalazione. Studiamo le scelte dell’ottimizzatore e i componenti della procedura per risolvere segnalazioni a livello di repository in due famiglie di modelli. Le esecuzioni di addestramento valutate mostrano un successo nell’addestramento maggiore con la procedura completa rispetto ai metodi di riferimento.