HarnessRL: politiche che coevolvono con un’infrastruttura di addestramento just-in-time per l’apprendimento per rinforzo a compiti aperti

Abstract degli autori

L’apprendimento per rinforzo (RL) basato su griglie di valutazione addestra politiche per la generazione aperta usando criteri espressi in linguaggio naturale come ricompense, ma queste ricompense possono perdere efficacia con il procedere dell’addestramento. Individuiamo due modalità di fallimento. Con ricompense non discriminanti, i punteggi si appiattiscono su valori uniformemente bassi o alti a causa di un’esplorazione insufficiente o di uno scarto tra la difficoltà del compito e le capacità della politica. Con ricompense spurie, a punteggi più alti non corrispondono risposte migliori. Entrambi i casi riflettono una configurazione di addestramento in cui il campionamento dei compiti, l’esplorazione e la valutazione restano fissi mentre la politica evolve. Presentiamo HarnessRL, un’infrastruttura usata durante l’addestramento che coevolve con la politica attraverso tre interfacce: campionamento dei compiti, guida alla generazione delle traiettorie e criteri della griglia di valutazione. HarnessRL mantiene una memoria durante l’addestramento, dalla quale un componente che fa evolvere l’infrastruttura recupera la cronologia del singolo compito ed evidenze relative a compiti diversi. Sulla base di queste evidenze, il componente attribuisce ogni fallimento delle ricompense all’interfaccia il cui aggiornamento può risolverlo. Avvia poi un ciclo tra un proponente e un critico just-in-time: il critico accetta un aggiornamento proposto solo dopo averne misurato l’effetto sulla politica corrente, mantenuta fissa, e rimanda le proposte respinte perché siano riviste. Abbiamo inoltre curato Rubric-Mix-10k, una raccolta per l’addestramento e la valutazione dell’RL a compiti aperti in cinque ambiti: medicina, scienze, scrittura, gioco di ruolo e rispetto delle istruzioni. Su Rubric-Mix-10k, HarnessRL supera i migliori metodi di riferimento di 2,8-3,1 punti sia con modelli da 4B sia con modelli da 9B, e riduce di quasi la metà i passi di addestramento necessari per raggiungere il suo miglior checkpoint. Codice e dati sono disponibili all’indirizzo https://github.com/Tongyi-ConvAI/Qwen-Character/tree/main/HarnessRL.