Rubriche dal compito, verdetti dalle evidenze: ricompense per singola risposta basate su rubriche con giudici assistiti da strumenti

Abstract degli autori

I modelli di ricompensa (RM) basati su rubriche valutano le risposte secondo criteri espliciti. Tuttavia, i metodi esistenti spesso ricavano i criteri dalle risposte candidate osservate, introducendo una distorsione indotta dalle risposte che può limitare la generalizzabilità delle rubriche. I loro giudici, inoltre, faticano a verificare i vincoli meccanici quando si affidano alla sola lettura; i giudici comunemente usati per il confronto a coppie forniscono soltanto preferenze relative, rendendone più complesso l’impiego diretto nell’ottimizzazione delle policy. Proponiamo ReVeR, un RM basato su rubriche che valuta le singole risposte: ricava regole rigide e principi graduati ragionando sulla sola istruzione e valuta ogni risposta indipendentemente, con l’ausilio di strumenti. Entrambe le componenti sono addestrate mediante una distillazione senza accesso alle etichette, nella quale le etichette di preferenza servono soltanto a filtrare gli output di un modello insegnante. Si ottiene così ReVeR-Traces, un dataset su larga scala di traiettorie di ragionamento sulle rubriche e di valutazione. Gli esperimenti mostrano che ReVeR supera gli RM basati su rubriche che confrontano le risposte a coppie nell’accuratezza media delle preferenze, soprattutto nel rispetto delle istruzioni, nonché nello scaling in fase di test e nell’ottimizzazione delle policy a valle. Rileviamo inoltre che l’apprendimento per rinforzo del generatore migliora l’accuratezza delle preferenze ma riduce la fedeltà alle rubriche, e che una maggiore accuratezza delle preferenze non si traduce necessariamente in policy a valle migliori. Questi risultati mostrano che la fedeltà alle rubriche, l’accuratezza delle preferenze e l’utilità a valle sono proprietà distinte e contribuiscono a orientare la futura ricerca sugli RM.