OPD prima dell’RL: avviare l’RL basato su rubriche di valutazione con la distillazione on-policy

Abstract degli autori

Molti compiti utili per i modelli linguistici non possono essere valutati verificando l’esattezza del risultato. L’apprendimento per rinforzo (RL) basato su rubriche di valutazione affronta questo problema assegnando un punteggio alle risposte aperte in base a criteri espliciti. Tuttavia, poiché la ricompensa viene assegnata solo dopo il completamento della risposta, il segnale di addestramento non indica direttamente quali singole decisioni abbiano contribuito al punteggio finale. Proponiamo un metodo di addestramento in due fasi che usa le rubriche prima come contesto privilegiato per il modello insegnante, così da fornire una supervisione densa a livello di token, e poi come ricompense per un’ulteriore fase di RL. Nella prima fase, la distillazione on-policy con accesso privilegiato alla rubrica (RP-OPD), un modello studente che non ha accesso alla rubrica apprende a riprodurre le distribuzioni del token successivo di un modello insegnante che la conosce, a partire da prefissi generati dallo studente. Nella seconda fase, l’RL ottimizza direttamente la ricompensa basata sulla rubrica e consente di superare il plateau osservato nella distillazione. Valutiamo il metodo su compiti relativi alla salute e alla scienza usando modelli a pesi aperti. Su HealthBench, ResearchQA e RubricHub Science, confrontiamo diversi metodi di post-training e variamo la quantità di addestramento SFT o RP-OPD prima dell’RL. Il nostro metodo in due fasi ottiene i punteggi più alti tra quelli valutati. RP-OPD + RL mostra segnali limitati di reward hacking su RubricHub Science, mentre la baseline SFT + RL riceve ricompense sempre più alte per affermazioni di conformità alla rubrica senza fornire i contenuti richiesti. Questi risultati sostengono l’uso delle rubriche per guidare la distillazione on-policy prima di applicare l’RL basato su rubriche.