HuatuoGPT-3: adattamento al dominio tramite il solo RL a partire da modelli di base

Abstract degli autori

L’adattamento al dominio mira a trasformare un modello linguistico di grandi dimensioni (LLM) generalista in un esperto di un dominio specifico. Sebbene la pipeline SFT+RL prevalente offra un comodo punto di partenza, può ridurre la diversità dell’esplorazione e introduce ulteriore complessità attraverso un’ottimizzazione in più fasi. Questi limiti motivano l’adattamento basato sul solo RL. Tuttavia, il RL puramente on-policy presenta un problema di avvio a freddo, mentre anche il RL a politiche miste mostra dei limiti: nelle prime fasi dell’addestramento i token informativi negli output del modello insegnante vengono appresi troppo lentamente e, in seguito, gli output ormai obsoleti del modello insegnante possono ostacolare i miglioramenti. Identifichiamo questi due problemi come Gradient Starvation e Teacher-Distribution Anchoring. Per affrontarli, proponiamo One-stage Policy Optimization (OnePO), che usa gli output del modello insegnante come guida temporanea per migliorare la politica. OnePO combina Adaptive Objective Evolution, per rafforzare l’apprendimento dei token informativi a bassa probabilità prodotti dal modello insegnante, e Teacher Retirement, per scartare gli output del modello insegnante quando la politica corrente è in grado di superarli. Nell’adattamento al dominio medico, OnePO ottiene 67,2 su HealthBench (Total) con soli 20K campioni di addestramento, superando SFT+RL di 2,7 punti e il RL puro di 7,4 punti. Applichiamo inoltre OnePO su scala più ampia per realizzare HuatuoGPT-3, una serie open source di LLM per la medicina la cui variante 27B raggiunge 70,1 su HealthBench (Total) e 71,4 su HealthBench Professional, superando modelli di frontiera come GPT-6 Astra. I modelli e il codice sono disponibili all’indirizzo https://github.com/FreedomIntelligence/HuatuoGPT-3.