Ottimizzazione della politica di Bellman

Abstract degli autori

L’apprendimento per rinforzo con ricompense verificabili (RLVR) migliora le capacità di ragionamento dei modelli linguistici di grandi dimensioni (LLM). Presentiamo Bellman Policy Optimization (BPO), un metodo senza critico derivato da Policy Mirror Descent (PMD). Per la generazione autoregressiva con ricompense terminali, BPO usa le equazioni di Bellman per riformulare PMD come un obiettivo a livello di traiettoria. Questa riformulazione evita di stimare i valori degli stati intermedi. Dimostriamo che ha la stessa soluzione ottimale unica dell’obiettivo PMD originale. Deriviamo la loss pratica di BPO approssimando questo obiettivo. Il suo peso di correzione del disallineamento è un rapporto smussato tra probabilità complementari dei token. Gli esperimenti sui benchmark di ragionamento matematico dimostrano l’efficacia di BPO.