Mangia la tua precisione: un obiettivo di precisione mitiga il reward hacking nell’apprendimento per rinforzo basato su rubriche

Abstract degli autori

Le ricompense basate su rubriche consentono un apprendimento per rinforzo efficace nei compiti le cui risposte non sono verificabili. Tuttavia, poiché queste ricompense sono generalmente definite come una misura ponderata della copertura delle rubriche, i modelli vengono addestrati soprattutto a massimizzare un obiettivo di recall. Di conseguenza, i modelli addestrati con l’apprendimento per rinforzo producono risposte più complete, ma anche più prolisse e con più contenuti superflui o errati sul piano fattuale, risultando meno apprezzati rispetto alle risposte del modello di base. Per affrontare questo problema, presentiamo la ricompensa FORK, che ottimizza congiuntamente il recall e un nuovo obiettivo di precisione. Quest’ultimo richiede che ogni unità della risposta di un modello sia necessaria e corretta sul piano fattuale, secondo quanto misurato, rispettivamente, da crediti di necessità basati sulle rubriche e da un valutatore della correttezza fattuale. I nostri risultati sperimentali mostrano che FORK supera i metodi esistenti di apprendimento per rinforzo basati su rubriche e raggiunge prestazioni ottimali secondo Pareto, bilanciando la copertura delle rubriche e la qualità complessiva delle risposte. Rispetto alla ricompensa originale basata sul recall, FORK migliora notevolmente la precisione e riduce la lunghezza delle risposte, pur ottenendo una copertura delle rubriche simile. Questo porta a un tasso di vittoria significativamente più alto rispetto alla policy di base, per esempio dal 10,6% al 68,0% su RubricHub-Medical e dal 22,1% al 74,1% su HealthBench.