PAR: Progress-Aligned Recurrence per la generalizzazione rispetto alla lunghezza nel tracciamento dello stato

Abstract degli autori

I modelli linguistici ricorrenti possono eseguire più iterazioni durante l’inferenza, ma le iterazioni aggiuntive non li aiutano necessariamente a risolvere problemi più lunghi. Nel tracciamento sequenziale dello stato, la supervisione basata sulla risposta finale non specifica di quanto debba avanzare ciascuna iterazione, e gli aggiornamenti ripetuti possono modificare la scala dello stato ricorrente. Introduciamo \textbf{Progress-Aligned Recurrence (PAR)}, un metodo che addestra la predizione all’iterazione $k$ a corrispondere allo stato dopo le prime $k$ operazioni e riporta le norme degli stati ricorrenti a quelle della prima iterazione. Su swap-$S_5$, un modello Qwen2.5-0.5B addestrato su un massimo di 32 mosse raggiunge un’accuratezza media sull’intero stato del 95,5\% a 512 mosse, pari a $16\times$ la lunghezza di addestramento, contro il 55,7\% riportato per RLT e lo 0,8\% per la catena di pensiero esplicita sulla stessa architettura di base. Esperimenti di ablazione controllati su $S_5$ mostrano che eliminare l’ancoraggio della norma riduce il fattore di estrapolazione da $16\times$ a meno di $2.2\times$, mentre sostituire gli obiettivi allineati all’avanzamento con la supervisione basata sulla risposta finale lo riduce al massimo a $8\times$. Un modulo di lettura del completamento appreso sceglie quando rispondere senza che venga fornita un’iterazione di arresto. Quando le etichette intermedie non sono disponibili, l’auto-distillazione sui prefissi induce la corrispondenza a partire da prefissi più brevi dei problemi, usando soltanto le risposte finali. I miglioramenti si estendono a diversi compiti di tracciamento sequenziale dello stato, individuando la struttura del compito necessaria per l’estrapolazione in profondità. Questi risultati indicano che addestrare congiuntamente le predizioni intermedie e la scala dello stato rende utile una maggiore profondità ricorrente per affrontare problemi più lunghi.