Addestrare LLM valutatori a partire dal feedback linguistico tramite autodistillazione selettiva per posizione

Abstract degli autori

Studiamo come addestrare LLM valutatori a partire dal feedback in linguaggio naturale, soprattutto per compiti soggettivi in cui il verdetto dipende fortemente dai criteri di valutazione a cui il valutatore ricorre e dal peso che attribuisce a ciascuno. L’approccio dominante, l’apprendimento per rinforzo supervisionato sull’esito (per esempio GRPO), attribuisce a ogni token della sequenza generata un unico valore scalare, determinato soltanto dall’accuratezza del verdetto finale. Non attribuisce quindi un valore distinto ai token in cui vengono scelti i criteri e ignora il ricco feedback linguistico, come le motivazioni delle preferenze, che accompagna naturalmente le etichette di preferenza. L’autodistillazione (SD) è un modo naturale per utilizzare questo feedback linguistico: lo stesso modello, condizionato dal feedback, funge da insegnante e fornisce una supervisione dettagliata per ciascuna posizione. Non tutte le posizioni, però, contengono segnali ugualmente utili. In base alla variazione di entropia per posizione tra insegnante e studente, individuiamo due casi: la concentrazione contestuale, in cui l’insegnante concentra la probabilità su una particolare formulazione del criterio coerente con il feedback, e la dispersione contestuale, in cui distribuisce la probabilità tra più alternative coerenti con il feedback. Interpretiamo questi schemi così: la concentrazione incoraggia la memorizzazione di una particolare formulazione del criterio, mentre la dispersione favorisce la comprensione semantica preservando le alternative. Alla luce di questa asimmetria, introduciamo un mascheramento delle posizioni basato sulla variazione di entropia, che conserva la coda inferiore della distribuzione di tali variazioni. Gli esperimenti mostrano che mascherare le posizioni con variazioni di entropia più elevate migliora la generalizzazione fuori distribuzione rispetto all’autodistillazione non selettiva. Nelle sottocategorie soggettive valutate, gli LLM valutatori così addestrati tramite autodistillazione superano di 2-9 punti percentuali quelli addestrati con apprendimento per rinforzo supervisionato sull’esito, rimanendo competitivi nelle sottocategorie oggettive.