Trajectory2Gym: sintesi composizionale di interazioni fondata sulle decisioni per agenti che usano strumenti

Abstract degli autori

Le traiettorie d’uso degli strumenti che hanno successo non forniscono necessariamente una supervisione utile. Anche le interazioni riuscite possono rappresentare in modo insufficiente le dipendenze tra più passaggi o contenere azioni non giustificate dalle informazioni visibili all’agente al momento della decisione. Individuiamo due requisiti connessi per una supervisione efficace basata sulle traiettorie: la copertura composizionale, affinché siano rappresentate le dipendenze importanti tra osservazioni e azioni, e il fondamento delle decisioni, affinché ogni azione usata per la supervisione sia giustificata dalla cronologia delle interazioni visibile al modello in addestramento. Presentiamo Trajectory2Gym, che costruisce interazioni eseguibili attorno a strutture composizionali con supporto insufficiente e ricava la supervisione soltanto dalle decisioni fondate nelle esecuzioni effettive di tali interazioni. La selezione in base al supporto strutturale distribuisce l’esperienza così ottenuta, mentre il fine-tuning supervisionato normalizzato rispetto all’elemento padre mantiene l’interazione semantica come unità a cui attribuire il peso nell’addestramento. Questo approccio riformula la generazione di traiettorie come costruzione deliberata di esperienze di interazione da cui apprendere, anziché come raccolta di traiettorie riuscite. Su cinque scale di Qwen3, Trajectory2Gym migliora i risultati su Tau1, Tau2 e BFCL a ogni scala testata, aumentando di 16,9–29,8 punti percentuali la media dei tre benchmark calcolata attribuendo a ciascuno lo stesso peso. I miglioramenti sono più marcati nelle interazioni con stato e in quelle su più turni, in cui le decisioni successive dipendono da osservazioni e feedback precedenti. I nostri risultati suggeriscono che il potenziamento degli agenti che usano strumenti dipende non solo dalla raccolta di più traiettorie riuscite, ma anche dalla costruzione di interazioni in cui le dipendenze siano rappresentate e le decisioni possano essere apprese dalla cronologia visibile all’agente.