Il costo del disallineamento: amplificazione del rumore nell’apprendimento per rinforzo di ordine zero

Abstract degli autori

L’ottimizzazione di ordine zero (ZO) si è affermata come un approccio promettente per il post-training efficiente in termini di memoria dei modelli linguistici di grandi dimensioni (LLM), ma la sua applicazione affidabile all’apprendimento per rinforzo con ricompense verificabili (RLVR) resta in gran parte inesplorata. Partendo dai distinti regimi dei dati dell’apprendimento per rinforzo on-policy e dell’ottimizzazione su dati fissi, sviluppiamo un quadro teorico generale basato sulla varianza per indagare i fattori che limitano l’affidabilità della stima del gradiente ZO. La nostra analisi rivela che l’affidabilità della stima dipende strutturalmente dal fatto che le due valutazioni alle differenze finite vengano eseguite o meno sugli stessi dati. Nell’apprendimento per rinforzo (RL) on-policy, il regime con dati non corrispondenti produce un’amplificazione del rumore dell’oracolo pari a $1/μ^2$, che determina un livello minimo di rumore irriducibile al diminuire della scala di perturbazione $μ$; invece, Boltzmann Targeted SFT (BOLT), nel regime con dati corrispondenti, elimina questa amplificazione grazie alla cancellazione del rumore. Deriviamo inoltre garanzie di convergenza con costanti esplicite che distinguono chiaramente i due regimi. Questi risultati portano naturalmente a ZO-BOLT, che applica l’ottimizzazione ZO all’obiettivo di SFT ponderato di BOLT, allineato con RLVR. Esperimenti controllati con diverse scale di perturbazione e confronti end-to-end tra dati corrispondenti e non corrispondenti confermano l’effetto previsto della corrispondenza dei dati. Gli esperimenti condotti su tre varianti di modello e due benchmark di ragionamento matematico mostrano inoltre che ZO-BOLT migliora costantemente i risultati rispetto al modello preaddestrato, mantenendo un consumo di memoria quasi pari a quello dell’inferenza. Il codice è disponibile pubblicamente all’indirizzo https://github.com/lianmin-chen/the_cost_of_mismatch.