BiasReducer: mitigazione adattiva dei bias nei modelli di ricompensa

Abstract degli autori

I modelli di ricompensa assegnano punteggi alle risposte dei modelli linguistici di grandi dimensioni (LLM) e ne orientano l’addestramento verso le preferenze umane. Tuttavia, possono favorire caratteristiche superficiali, come la lunghezza o la sicurezza espressa, inducendo gli LLM a produrre risposte con punteggi più alti, ma non più corrette. I metodi di mitigazione esistenti riaddestrano il modello di ricompensa oppure applicano una correzione fissa a un bias noto, come la preferenza per le risposte più lunghe. Il riaddestramento richiede dati e risorse di calcolo aggiuntivi, mentre i metodi di modifica esistenti richiedono che il bias da correggere sia specificato in anticipo e applicano una modifica fissa a quel bias. Per questo proponiamo BiasReducer, un framework leggero che modifica soltanto la testa lineare del modello di ricompensa e seleziona le modifiche pertinenti per ogni nuovo dataset. Innanzitutto, BiasReducer usa un codificatore sul modello di un autoencoder sparso (SAE) per apprendere a quali caratteristiche, per esempio lunghezza e sicurezza espressa, è sensibile il modello di ricompensa. In secondo luogo, apprende come ridurre la dipendenza del modello da ciascuna caratteristica, determinando in quale direzione modificare la testa di ricompensa e in quale misura. Infine, per un nuovo dataset, ordina le caratteristiche in base alla loro influenza sui punteggi di ricompensa, seleziona quelle pertinenti e modifica di conseguenza il modello. BiasReducer migliora sistematicamente la robustezza dei modelli di ricompensa rispetto ai bias a favore di caratteristiche superficiali delle risposte. Su cinque modelli di ricompensa, BiasReducer-M migliora i risultati nei tre benchmark rispettivamente di 8,3, 18,0 e 6,9 punti percentuali in media, superando i due metodi di riferimento basati sull’addestramento. I miglioramenti si trasferiscono anche alle applicazioni successive, riducendo la prolissità superflua e la compiacenza, pur mantenendo una qualità valutata comparabile.