MetaRubric: imparare ad assegnare ricompense nell’apprendimento per rinforzo basato su rubriche di valutazione

Abstract degli autori

L’apprendimento per rinforzo basato su rubriche di valutazione estende l’ottimizzazione guidata dalle ricompense ai compiti aperti, assegnando un punteggio parziale ai singoli requisiti della risposta. Tuttavia, i valutatori basati su rubriche possono attribuire un punteggio elevato a un criterio anche quando nella risposta mancano l’informazione o l’azione richiesta: un problema che chiamiamo Vacuous Credit. Tali punteggi persistono anche dopo la rimozione dell’informazione richiesta e possono invertire il segno del vantaggio GRPO di una risposta. Per affrontare il problema, introduciamo MetaRubric, che alterna l’ottimizzazione della policy, tenendo conto delle evidenze, all’adattamento delle rubriche guidato dalle risposte. Costruiamo versioni controfattuali modificando un fatto rilevante per il compito in ciascun prompt. Durante l’ottimizzazione della policy, il punteggio viene assegnato solo quando la risposta contiene evidenze sufficienti a soddisfare il criterio richiesto dalla rubrica. Dopo ogni fase di ottimizzazione della policy, le risposte della policy corrente guidano la revisione dei criteri originali e controfattuali, preservando il significato della rubrica iniziale del prompt originale così come viene interpretata alla luce dei fatti di ciascun prompt. Adattiamo inoltre i pesi dei criteri al termine di ogni fase per affrontare meglio gli errori osservati nella policy. Su diversi modelli di base, MetaRubric migliora l’accuratezza su PubMedQA di 6,00–20,40 punti percentuali rispetto a GRPO con valutatore statico, con ulteriori miglioramenti su HealthBench-Hard e su due benchmark medici multimodali.