Distillazione della distribuzione a posteriori che tiene conto della struttura ad albero per l’apprendimento per rinforzo agentico su orizzonti lunghi

Abstract degli autori

L’apprendimento per rinforzo con ricompense verificabili è diventato un paradigma scalabile per l’addestramento successivo dei modelli linguistici di grandi dimensioni. Tuttavia, addestrare agenti su interazioni di lunga durata presenta due difficoltà: usare soltanto le ricompense finali rende l’attribuzione del merito a livello di turno scarsa e ad alta varianza, mentre gli aggiornamenti sequenziali per mini-batch su un batch fisso di rollout rendono obsoleta la policy usata per raccogliere i dati, man mano che la policy corrente se ne discosta. Gli approcci esistenti ottengono un’attribuzione del merito più dettagliata mediante critici appresi, modelli di ricompensa del processo o distillazione on-policy, ma richiedono una rete del valore, annotazioni a livello di passo o un modello insegnante esterno più potente, aumentando la complessità dell’addestramento. Nel frattempo, il campionamento per importanza e il clipping attenuano lo scostamento della policy, ma non definiscono un obiettivo finito che impedisca agli aggiornamenti sequenziali di andare oltre. In questo lavoro presentiamo TreeOPSD, un metodo di autodistillazione della distribuzione a posteriori che tiene conto della struttura ad albero, non richiede un critico ed è destinato all’apprendimento per rinforzo agentico su orizzonti lunghi. Trattando ogni turno dell’interazione come un nodo di un albero, TreeOPSD genera continuazioni alternative a partire da prefissi condivisi e propaga ricorsivamente le ricompense finali verso i nodi precedenti, ottenendo un’attribuzione implicita del merito a livello di turno. Converte poi ciascun valore di merito in una distribuzione limitata del modello insegnante, espressa in forma chiusa e parametrizzata dal rapporto di verosimiglianza rispetto alla policy usata per raccogliere i dati, mantenuta fissa. Minimizzare la divergenza tra questa distribuzione e la policy dell’allievo restituisce la direzione del gradiente della policy come tangente in corrispondenza della policy usata per raccogliere i dati, limitando al tempo stesso gli aggiornamenti verso un obiettivo finito nei mini-batch sequenziali. Nei risultati sperimentali, TreeOPSD migliora le capacità agentiche su diversi benchmark competitivi e per modelli di varie dimensioni, soprattutto nei compiti su orizzonti lunghi: per esempio, aumenta di 4,97 punti l’accuratezza media di Qwen3-30B-A3B-Thinking-2507 rispetto a GRPO nel contesto Deep Research.