Indurre la supervisione del processo tramite apprendimento per rinforzo basato solo sull’esito

Abstract degli autori

I modelli di ricompensa del processo (PRM) sono diventati una componente chiave per i modelli linguistici di grandi dimensioni (LLM), perché il loro feedback sui singoli passaggi supporta sia il post-addestramento sia il ragionamento durante l’inferenza. Addestrare PRM efficaci resta però costoso: l’annotazione dei singoli passaggi da parte di esseri umani è difficile da estendere su larga scala, mentre la stima Monte Carlo richiede molte risorse computazionali e può discostarsi dalla correttezza intrinseca dei passaggi. Per ottenere PRM efficaci a basso costo, presentiamo TIPS (Thinking-Induced Process Supervision), un framework di apprendimento per rinforzo (RL) basato solo sull’esito per addestrare PRM generativi. In TIPS, il modello genera una catena di pensiero (CoT), seguita da etichette per i singoli passaggi e da un’etichetta per l’esito. La ricompensa dipende esclusivamente dalla corrispondenza tra l’esito previsto e quello effettivo; il vantaggio relativo al gruppo così ottenuto viene usato per ottimizzare l’intera risposta generata. In termini intuitivi, quando verificare i passaggi intermedi aiuta a determinare l’esito, verifiche più accurate possono portare a valutazioni migliori dell’esito e a ricompense più alte. L’apprendimento per rinforzo basato solo sull’esito può quindi rafforzare la verifica dei singoli passaggi senza una supervisione esplicita del processo. Convalidiamo l’efficacia di TIPS su benchmark matematici e per agenti, e su quattro famiglie di backbone. In particolare, TIPS-Qwen3-4B-Thinking-2507 raggiunge un punteggio F1 di 85,2 su ProcessBench con appena 3,2K traiettorie etichettate in base all’esito, superando tutti i PRM addestrati valutati e valutatori efficaci basati solo su prompt come GPT-5.4-Instruct e Claude-4.7-Opus, pur restando dietro a o1-mini. Codice e dati sono disponibili all’indirizzo https://github.com/RUCBM/TIPS.