Lifted State Policy Optimization: interiorizzare l’autocorrezione attraverso la geometria delle transizioni

Abstract degli autori

L’ottimizzazione delle preferenze classifica le risposte finali e l’apprendimento per rinforzo sulle traiettorie massimizza le ricompense aggregate, ma nessuno dei due attribuisce merito al cambiamento locale che trasforma uno stato di ragionamento difettoso in uno migliore. Presentiamo Lifted State Policy Optimization (LSPO), che assume come unità fondamentale dell’apprendimento questa transizione finita, corretta per i costi. Ogni risposta testuale viene arricchita con una coordinata continua appresa, formando uno stato aumentato che una funzione di energia valuta e ordina. Una ricompensa modellata favorisce la diminuzione dell’energia al netto dei costi di modifica e dei singoli passaggi, mentre una funzione di perdita per l’interiorizzazione incorpora nel generatore diretto alcune risposte selezionate a bassa energia. Su Qwen3.5-27B, la policy risultante, che opera in un solo passaggio, raggiunge un’accuratezza aggregata del 71,8% nei benchmark di matematica, scienze, codice e logica, eguagliando la riflessione in fase di test, che raggiunge il 71,9%, con una latenza inferiore del 28% e il 25,8% di token in meno. Il risultato si conferma con architetture di base dense e mixture-of-experts; esperimenti di controllo a parità di condizioni confermano che contribuiscono sia l’attribuzione del merito alle transizioni sia la coordinata dello stato aumentato, così come l’interiorizzazione delle risposte. Il nostro codice è disponibile all’indirizzo https://github.com/Venomrko/lspo.