Distillazione dell’autoriflessione retrospettiva: trasformare le esperienze a posteriori in capacità di anticipazione

Abstract degli autori

L’apprendimento per rinforzo con ricompense verificabili (RLVR) trasforma l’esperienza degli agenti in segnali di apprendimento soprattutto attraverso ricompense scalari basate sull’esito, assegnate dopo l’interazione. Per gli obiettivi relativi al gruppo, però, questo segnale scompare quando tutti i rollout ricevono la stessa ricompensa, anche se le loro traiettorie possono rivelare informazioni utili su ciò che il compito richiede e su come l’agente fallisce. Ci poniamo una domanda complementare: l’esperienza a posteriori può insegnare a un agente che cosa avrebbe potuto anticipare prima di agire? Introduciamo l’apprendimento prospettico, che usa l’esperienza acquisita a posteriori per guidare le previsioni formulate dal punto di vista precedente all’interazione, e lo concretizziamo con Self-Retrospection Distillation (SRD). In sostanza, una traiettoria completata rivela conoscenze che sarebbero state utili e insidie da evitare; SRD distilla queste informazioni retrospettive, disponibili solo dopo l’interazione, nella capacità della stessa policy di anticipare senza conoscere la traiettoria. Tale capacità funge soltanto da obiettivo di addestramento e non deve necessariamente essere generata esplicitamente durante l’inferenza. In 10 compiti di ragionamento con integrazione di strumenti e compiti agentici a lungo orizzonte, SRD integra i metodi di riferimento basati su RLVR e autodistillazione, con miglioramenti fino a $24.2$ punti percentuali. Il suo vantaggio è particolarmente marcato quando le differenze tra le ricompense sono scarse: a seconda della scala dei modelli, il $37$--$98\%$ dei gruppi di rollout riceve una ricompensa uniforme, eppure SRD riesce comunque a ricavare un segnale di apprendimento dalle traiettorie campionate. Nella configurazione 2B, in cui il $98\%$ dei gruppi è composto interamente da fallimenti, l’addestramento con RLVR si conclude con un tasso di successo del $0.0\%$, mentre l’aggiunta di SRD porta il tasso al $60.6\%$ a parità di budget di rollout. I nostri risultati suggeriscono che l’esperienza degli agenti acquisita a posteriori sia utile non solo per valutare o migliorare il comportamento, ma anche per plasmare rappresentazioni predittive prima che l’interazione sia possibile.