Marathoner: intelligenza autonoma su orizzonti temporali estremamente lunghi

Abstract degli autori

Gli esseri umani hanno una naturale capacità di lavorare con perseveranza per raggiungere obiettivi a lungo termine. Di fronte a un compito impegnativo, possono continuare a lavorare per mesi o persino anni per conseguire un obiettivo preciso. In questo articolo presentiamo Marathoner, un modello agentico autonomo capace di portare avanti l’esecuzione di compiti su orizzonti temporali estremamente lunghi. Proponiamo una pipeline completa di post-training per conferire questa capacità fondamentale al modello di base. Per Ultra-Long-Horizon Task Synthesis, utilizziamo come fonte principale per la creazione di dati a livello di compito le PR relative a release importanti, contenenti oltre 1.000 righe di nuovo codice e provenienti da diversi repository GitHub. Introduciamo inoltre Multi-Task Chaining, che concatena più compiti generati in un unico compito più impegnativo, consentendo di creare compiti con una difficoltà di frontiera. Per il fine-tuning con campionamento per rigetto, combiniamo un potente modello insegnante con diverse infrastrutture di esecuzione per generare traiettorie sui compiti così creati, quindi sottoponiamo il modello di base a fine-tuning supervisionato usando le traiettorie selezionate tramite campionamento per rigetto. Per l’apprendimento per rinforzo, durante il processo di rollout il modello inizializzato con cold start esegue compiti reali tramite infrastrutture di esecuzione in sandbox indipendenti, favorendo così l’acquisizione di un’autentica capacità di esecuzione su orizzonti temporali estremamente lunghi. Proponiamo inoltre una nuova strategia di ricompensa, Later Stage Bonus Reward, che incoraggia esplicitamente il modello a compiere azioni significative nelle fasi successive dell’esecuzione. In un’ampia valutazione su 5 benchmark contenenti compiti che richiedono orizzonti temporali estremamente lunghi, Marathoner ottiene miglioramenti prestazionali consistenti e sostanziali rispetto al modello di base e supera persino le prestazioni di un potente modello proprietario. Ulteriori analisi mostrano che Marathoner è in grado di lavorare in modo continuativo per oltre 10 ore e di effettuare oltre 1.000 chiamate agli strumenti su compiti particolarmente impegnativi.