Punteggi più alti, risposte peggiori: mitigare il reward hacking nell’apprendimento per rinforzo basato su rubriche con rubriche a livello di protocollo

Abstract degli autori

L’apprendimento per rinforzo basato su rubriche (Rubric-RL) addestra modelli linguistici in assenza di un verificatore. Un valutatore controlla ogni criterio della rubrica e i giudizi vengono aggregati in una ricompensa, il più delle volte mediante una somma ponderata. Mostriamo che il punto debole è questa aggregazione additiva. Con una somma, i criteri si compensano a vicenda: una policy che manca l’unica decisione che conta può recuperare i punti offrendo consigli che nessuno ha chiesto. Nei consulti clinici, una policy del genere ottiene punteggi più alti ma dà risposte peggiori. La copertura dei criteri della rubrica aumenta, mentre l’appropriatezza misurata su criteri dei medici tenuti da parte per la valutazione scende al di sotto di quella del modello non addestrato. La colpa non è dei criteri medici. Raggruppati in modo che debbano essere soddisfatti insieme, gli stessi criteri, senza cambiare una parola, recuperano un terzo della perdita; risposte più brevi non ne recuperano quasi nulla. Proponiamo quindi Protocol-level Rubrics (ProRubric), che conserva ciò che i criteri richiedono e cambia il modo in cui vengono aggregati. ProRubric raggruppa una lista di controllo in poche dimensioni a livello di protocollo. Una dimensione conta solo se tutti i suoi criteri sono soddisfatti e la relativa clausola di fallimento non si attiva. Il raggruppamento viene effettuato una sola volta, offline, e lascia invariato l’ottimizzatore. ProRubric aumenta l’appropriatezza di 10,8 punti senza perdere copertura e ottiene la migliore media su sette benchmark a entrambe le scale. La validità della ricompensa dipende non solo da ciò che una rubrica verifica, ma anche da come lo aggrega. Il codice è disponibile all’indirizzo https://github.com/Estrellajer/ProRubric