Agenti ricorsivi che si autovalutano

Abstract degli autori

Gli agenti ricorsivi basati su modelli linguistici scompongono i compiti e delegano i sottocompiti a istanze figlie della stessa policy, formando un albero di lavoro. Addestrarli, però, è difficile: l’esito finale è verificabile, ma i sottocompiti intermedi che l’agente definisce da sé sono numerosi e non hanno una verità di riferimento. I metodi esistenti assegnano un punteggio a ogni nodo tramite un verificatore o un valutatore, un approccio costoso su larga scala e incapace di valutare la qualità della scomposizione. Sosteniamo che un agente ricorsivo debba apprendere tre capacità interconnesse all’interno dello stesso insieme di pesi: scomporre i problemi in sottocompiti, risolverli e valutarne gli esiti. Ciascuna richiede un proprio segnale di addestramento. SERA (Self-Evaluating Recursive Agents) trasforma la valutazione in una capacità appresa dalla policy stessa. Prima di delegare, l’agente genitore scrive per ogni sottocompito figlio una griglia di criteri di successo ponderati; una funzione obiettivo di ranking basata su esiti verificati addestra poi la generazione delle griglie affinché i criteri rispecchino l’effettiva riuscita dei sottocompiti. Inoltre, un segnale complementare di copertura delle foglie attribuisce direttamente il merito della scomposizione del compito. Il nostro risultato principale è che a produrre i miglioramenti è l’\emph{training} della policy a generare griglie di valutazione allineate: poiché gli stessi pesi servono sia a valutare sia a eseguire, imparare a giudicare i sottocompiti affina la capacità dell’agente di risolverli. In particolare, si riduce anche il ricorso alla supervisione esterna: il valutatore viene consultato solo per addestrare il generatore di griglie, mentre l’addestramento alla risoluzione si basa sui punteggi assegnati dalle griglie dell’agente stesso, che danno risultati migliori rispetto all’uso diretto del valutatore. Oltre che nell’addestramento, la griglia appresa funge da selettore per la ricerca ad albero durante l’inferenza. Su TextCraft-Synth e TextWorld-Sync, SERA supera solide baseline di agenti ricorsivi in media di 5,38 e 13,14 punti, rispettivamente; su TextWorld-Sync, la ricerca ad albero guidata dalla griglia durante l’inferenza aggiunge altri 2,43 punti.