Ripensare l’apprendimento del critico in PPO: comprendere e mitigare l’appiattimento dei valori

Abstract degli autori

Nell’apprendimento per rinforzo dei grandi modelli linguistici, Proximal Policy Optimization (PPO) usa comunemente un critico per stimare i valori degli stati e ridurre la varianza degli aggiornamenti della policy. Individuiamo però un problema sistematico nei critici di PPO, che chiamiamo appiattimento dei valori: i valori degli stati, stimati a partire da più continuazioni Monte Carlo, cambiano bruscamente tra gli stati intermedi, mentre le predizioni del critico restano relativamente uniformi. Osserviamo il fenomeno anche nell’ambiente controllato FrozenLake e riscontriamo che diventa più marcato con l’aumentare dello spazio degli stati. Le nostre analisi teoriche ed empiriche collegano l’appiattimento dei valori a una penalizzazione implicita della varianza nella funzione di perdita del critico e ad aggiornamenti ridondanti dovuti a stati temporalmente correlati con gradienti simili. Sulla base di questi risultati, introduciamo SParse Proximal Policy Optimization (SP$^3$O), che applica la funzione di perdita sui valori soltanto a pochi stati ben distanziati in ciascuna risposta, per mitigare entrambi gli effetti. Gli esperimenti su Qwen3-Base mostrano che SP$^3$O, con supervisione applicata a soli tre stati per risposta, può mitigare l’appiattimento dei valori e migliorare in modo sistematico la policy appresa, con modelli di diverse dimensioni e in diverse batterie di valutazione. Nel complesso, i nostri risultati individuano nell’appiattimento dei valori un importante problema finora trascurato nell’apprendimento del critico con PPO standard e mostrano che una semplice strategia di supervisione sparsa può mitigarlo.