Rubric Curriculum RL: sfruttare il divario tra generazione e verifica in domini non verificabili

Abstract degli autori

L’apprendimento per rinforzo con ricompense verificabili (RLVR) ha portato a progressi significativi nella generazione di contenuti matematici e codice. Estendere questi progressi a domini aperti resta difficile: non è possibile verificare il ground truth, l’annotazione umana è costosa e i modelli di ricompensa appresi sono inclini al reward hacking. Il divario tra generazione e verifica, per cui è più facile giudicare buoni output che produrli, offre una possibile via per migliorare. Tuttavia, i valutatori basati su rubriche sono spesso imprecisi e statici, perciò le policy possono adattarsi eccessivamente a essi o fare reward hacking. Presentiamo Rubric Curriculum RL (RcRL), che sfrutta questo divario senza nuovi dati, annotazioni umane o modelli insegnanti più potenti. Combiniamo preferenze a coppie sui rollout con un curriculum sui criteri delle rubriche, ottenendo un segnale più discriminante rispetto alla valutazione assoluta e un obiettivo non stazionario. Mentre le baseline raggiungono un plateau dopo poche centinaia di passaggi, RcRL preserva l’entropia degli output e continua a migliorare oltre i 1000 passaggi. Nella scrittura creativa, RcRL raggiunge un tasso di vittoria del 70,5% nelle valutazioni umane rispetto al modello di base, con progressi su benchmark e valutatori diversi. Su HealthBench, RcRL migliora rispetto al modello di base del 14,6% (set completo) e del 25,4% (sottoinsieme di consenso), superando tutte le baseline di addestramento, comprese le rubriche specifiche per istanza.