Autodistillazione temporale nello spazio delle funzioni per l’ottimizzazione della policy

Abstract degli autori

L’apprendimento per rinforzo con ricompense verificabili (RLVR) migliora le capacità di ragionamento dei modelli linguistici, ma i risultati espressi da un singolo valore forniscono una supervisione poco dettagliata sulle traiettorie delle risposte. L’autodistillazione offre indicazioni più dettagliate, token per token, confrontando una policy priva di assistenza con una versione insegnante della stessa policy informata dal feedback. Tuttavia, il modello insegnante evolve insieme allo studente, rendendo instabili gli obiettivi di apprendimento e richiedendo un’ulteriore regolarizzazione. Presentiamo Function-Space Policy Optimization (FSPO), un framework basato su un’unica policy che combina l’adattamento corrente mediante informazioni privilegiate con il consolidamento temporale nello spazio delle funzioni. FSPO conserva distribuzioni storiche sparse del token successivo come obiettivi temporali fissi, creando una separazione nel tempo senza mantenere un modello insegnante permanente. Introduce inoltre una correzione dei disaccordi basata su informazioni privilegiate, che sopprime esplicitamente le azioni sopravvalutate a livello locale; un grounding adattivo all’affidabilità, che rafforza la supervisione basata sui riferimenti quando le evidenze autogenerate falliscono ripetutamente; e una memoria temporale attenta alla qualità e alla copertura, che conserva i comportamenti verificati e migliora le dimostrazioni basate su informazioni privilegiate. Nei benchmark di ragionamento e uso degli strumenti, FSPO ottiene la più alta accuratezza media con un limite di 5 ore per l’addestramento, superando il migliore metodo di riferimento di circa 4 punti percentuali in media e riducendo il picco di memoria da circa 70 GB a 56 GB su Olmo3-7B-Instruct.