Prospective Hindsight: apprendimento per rinforzo autocalibrante attraverso gli scarti tra previsione e realtà

Abstract degli autori

L’apprendimento per rinforzo degli agenti che operano su orizzonti lunghi si basa su segnali di addestramento esclusivamente retrospettivi: il merito viene attribuito solo dopo aver osservato le conseguenze nell’ambiente, mentre la convinzione dell’agente al momento dell’azione resta invisibile al gradiente. Presentiamo Prospective Hindsight (PH), un principio di addestramento autocalibrante che integra qualsiasi metodo retrospettivo di base con un segnale ricavato dallo scarto tra la previsione prospettica dell’agente, formulata prima del feedback, e la valutazione retrospettiva, effettuata dopo il feedback. Questa sorpresa, misurata per ogni rollout, individua i campioni per i quali il modello che l’agente ha di sé è meno accurato e ne amplifica il contributo al gradiente mediante un vantaggio ponderato in base alla sorpresa con stop-gradient. Poiché il predittore prospettico condivide i parametri con la policy, i due evolvono insieme, spostando progressivamente l’attenzione sulle lacune che l’agente ancora presenta. Colleghiamo questo principio a uno scarto di informazione privilegiata e mostriamo che ridurre al minimo il residuo della sorpresa offre un percorso per diminuire il tasso di errata calibrazione dell’agente; la calibrazione emerge quindi come risultato dell’ottimizzazione, anziché di un obiettivo aggiuntivo. In compiti verificabili a turno singolo e in un compito di agente personale a più turni, con GRPO, distillazione on-policy e la loro combinazione, PH migliora sia le prestazioni nei compiti sia la calibrazione, con miglioramenti costanti per modelli di diverse dimensioni. In particolare, la modalità prevalente di errata calibrazione cambia strutturalmente tra i due regimi: insuccessi accompagnati da eccessiva fiducia nei compiti a turno singolo e successi accompagnati da scarsa fiducia in quelli a più turni. Lo stesso principio di addestramento, tuttavia, affronta con successo entrambi i casi.