DTCA: attribuzione del contributo dei token nel denoising per l’apprendimento per rinforzo nei modelli linguistici a diffusione

Abstract degli autori

I modelli linguistici a diffusione (DLM) generano testo attraverso un processo iterativo di denoising, che consente di modellare il contesto bidirezionale e di perfezionare i token in parallelo. Studi recenti hanno applicato l’apprendimento per rinforzo (RL) ai DLM, migliorandone le prestazioni nel ragionamento. Tuttavia, il processo iterativo di denoising rende più difficile attribuire il contributo dei singoli elementi, poiché le ricompense associate al risultato finale forniscono informazioni limitate su come i diversi token contribuiscano all’output finale. In questo articolo proponiamo Denoising Token Credit Assignment (DTCA), un framework per l’attribuzione del contributo a livello di singolo token nell’apprendimento per rinforzo dei modelli linguistici a diffusione. DTCA stima il contributo dei token misurando l’aumento della confidenza nelle previsioni per le posizioni ancora mascherate dopo la fissazione dei token e raggruppa questi segnali in base alle categorie grammaticali (POS). I pesi attribuiti a questi contributi sono utilizzati per selezionare i passaggi temporali di denoising più informativi e assegnare segnali di apprendimento a livello di singolo token durante l’addestramento con RL. DTCA calibra ulteriormente questi segnali di apprendimento in base alle variazioni di entropia a livello di singolo token indotte dagli aggiornamenti della policy. Gli esperimenti su LLaDA-8B-Instruct mostrano che DTCA migliora con regolarità le prestazioni nel ragionamento matematico a fronte di diversi budget di generazione, con incrementi fino a 9,0 punti su MATH500 e 5,3 punti su GSM8K rispetto al modello di base.