Recupero dagli errori tramite aggiornamento delle credenze e modellazione del mondo per agenti che operano su orizzonti lunghi

Abstract degli autori

Gli agenti che operano su orizzonti lunghi spesso faticano a recuperare da errori le cui cause risalgono a diversi passaggi prima e non possono essere risolte con la riflessione locale o il backtracking. Presentiamo BELIEFWEAVER, un framework che combina le evidenze raccolte e conservate nel corso dei tentativi con il ragionamento prospettico sulle possibili direzioni di correzione. Mantiene uno stato relazionale delle credenze relativo a frontiere, tentativi, osservazioni e checkpoint. Le evidenze dell’esecuzione aggiornano le priorità delle frontiere correlate tra i diversi tentativi e dopo il rollback, mentre le evidenze diagnostiche condizionano l’esecuzione. Un modello implicito del mondo (IWM) valuta le ipotesi di correzione, prevede i progressi e individua le relazioni tra le frontiere per orientare l’esplorazione. Trasferiamo inoltre queste componenti ricorrenti del ragionamento dell’IWM a un modello studente 9B tramite fine-tuning supervisionato e distillazione on-policy (OPD). In tre benchmark basati sul terminale, BELIEFWEAVER migliora il punteggio finale aggregato di 5,1 punti percentuali rispetto alla prosecuzione nativa di Terminus-2, con tendenze positive nell’efficienza dell’esplorazione. Il modello studente 9B ottenuto tramite distillazione migliora il punteggio finale di 9,8 punti percentuali rispetto alla baseline nativa riportata, riducendo al contempo del 54,8% il costo stimato dell’API del modello insegnante rispetto al modello insegnante corrispondente. Questi risultati mostrano che conservare le evidenze nel tempo e ragionare in modo prospettico può migliorare il recupero nei compiti svolti da agenti su orizzonti lunghi, riducendo sostanzialmente il ricorso all’inferenza del modello insegnante.