KV4-RL: rollout asincroni più rapidi per RLVR grazie alla quantizzazione INT4 della cache KV

Abstract degli autori

I rollout asincroni migliorano l’efficienza dell’apprendimento per rinforzo con ricompense verificabili (RLVR) riducendo il sottoutilizzo delle risorse durante la generazione a coda lunga. Mantenere la concorrenza concentra inoltre l’elaborazione del contesto in un minor numero di passi di decodifica, aumentando il carico di lavoro della cache KV per passo. Caratterizziamo questa \emph{KV concentration} e riscontriamo che, nei nostri confronti a parità di carico di lavoro, la quantizzazione della cache KV offre un’accelerazione nettamente maggiore rispetto alla quantizzazione dei soli pesi e a quella di pesi e attivazioni. Tuttavia, i rollout con cache KV in INT4 possono compromettere l’apprendimento anche con il campionamento troncato per importanza a livello di token (TIS). Proponiamo \emph{KV4-RL}, che combina la quantizzazione INT4 della cache KV senza calibrazione con la protezione selettiva in INT8 degli attention sink e del contesto recente. Proteggere un numero limitato di posizioni riduce la discrepanza tra i campionatori, conservando gran parte dell’accelerazione ottenuta con INT4. Nell’arco di 400 iterazioni di addestramento GRPO di Qwen3-8B-Base, KV4-RL ottiene un’accelerazione cumulativa dei rollout pari a $1.80\times$ e un’accelerazione cumulativa delle iterazioni complete pari a $1.27\times$ rispetto ai rollout in BF16; nelle ultime 50 iterazioni, l’accelerazione dei rollout raggiunge $1.97\times$. Con un valutatore BF16 comune, la sua accuratezza media finale su sei benchmark si discosta di non più di 0,5 punti percentuali da quella dell’addestramento con rollout in BF16 sia per Qwen3-4B-Base sia per Qwen3-8B-Base.