Mosaic: apprendimento per rinforzo agentico multi-sessione

Abstract degli autori

La maggior parte dei metodi esistenti di apprendimento per rinforzo agentico presuppone traiettorie a sessione singola, in cui l’interazione si svolge all’interno di un unico contesto che si accumula senza interruzioni. Tecniche agentiche come la compattazione del contesto e la diramazione dei sottoagenti possono però produrre traiettorie che si estendono su più sessioni, creando una discrepanza tra l’ipotesi di addestramento a sessione singola e l’esecuzione in fase di inferenza. Introduciamo quindi l’apprendimento per rinforzo agentico multi-sessione, un’impostazione più generale che consente un numero arbitrario di sessioni all’interno di una traiettoria. In questa impostazione, un metodo ampiamente adottato consiste nell’attribuire a tutte le sessioni i vantaggi calcolati a livello di traiettoria, ma non distingue i contributi delle diverse sessioni né ne guida l’allocazione all’interno delle traiettorie. Per affrontare questo problema, proponiamo Mosaic, un metodo di apprendimento per rinforzo agentico multi-sessione con ottimizzazione gerarchica senza critic. A livello di traiettoria, integra nella stima del vantaggio segnali relativi all’utilizzo delle sessioni. A livello di sessione, modula il vantaggio di ciascuna sessione in base al suo contributo marginale stimato. Gli esperimenti condotti su BrowseComp con Qwen3.5-4B mostrano che Mosaic supera il metodo che attribuisce gli stessi vantaggi a tutte le sessioni sia nella compattazione del contesto sia nella diramazione dei sottoagenti, utilizzando in media meno sessioni. Ulteriori analisi mostrano che il nostro metodo migliora l’utilità e l’allocazione delle sessioni, che abbiamo indicato come un obiettivo promettente per i futuri progressi nell’apprendimento per rinforzo agentico multi-sessione.