Diagnosi e correzione del reward hacking nell’esecuzione verificabile delle istruzioni

Abstract degli autori

I benchmark per l’esecuzione verificabile delle istruzioni danno rilievo al rispetto dei vincoli sull’output, ma possono trascurare se le risposte soddisfino in modo sostanziale la richiesta di fondo, creando un punto cieco nella valutazione. Mostriamo che i modelli di frontiera possono ottenere il punteggio pieno con risposte dal contenuto sostanziale scarso. Usare lo stesso criterio basato su un verificatore come ricompensa durante l’addestramento può indurre reward hacking: i checkpoint resi pubblici mostrano un maggiore rispetto dei vincoli, ma una qualità delle risposte inferiore dopo l’apprendimento per rinforzo con ricompense verificabili. Per contrastare questo fenomeno, presentiamo CALIF, un metodo leggero che integra le ricompense dei verificatori con un bonus calibrato basato sulla verosimiglianza, per preservare la qualità delle risposte. CALIF valuta la verosimiglianza della risposta sulla base della sola richiesta, usando la policy di riferimento esistente e congelata, senza richiedere un ulteriore valutatore né un modello di ricompensa addestrato. Su modelli da 1,7B a 8B, in modalità con e senza ragionamento, CALIF migliora il rispetto dei vincoli su IFBench, mantenendo la qualità delle risposte vicina o superiore ai livelli precedenti all’apprendimento per rinforzo. Supera inoltre le corrispondenti policy di base in 40 dei 45 confronti tra modelli e metriche su tre benchmark per l’esecuzione delle istruzioni basati su rubriche di valutazione, mostrando miglioramenti che vanno oltre i verificatori usati nell’addestramento.