Sull’origine e l’evoluzione del disallineamento tra addestramento e inferenza nell’apprendimento per rinforzo degli LLM

Abstract degli autori

L’apprendimento per rinforzo on-policy per i modelli linguistici di grandi dimensioni presuppone che le risposte usate nell’addestramento siano campionate dalla policy corrente. In pratica, un motore di inferenza campiona le risposte e un trainer separato calcola i gradienti; il \textbf{disallineamento tra addestramento e inferenza} che ne deriva rende off-policy i dati di addestramento. Il disallineamento ha due origini: i calcoli numerici del motore e i pesi non aggiornati del campionamento asincrono. Una correzione che stabilizza l’addestramento in presenza di una di queste origini può fallire in presenza dell’altra. \textit{Ci chiediamo quale proprietà di una fonte di disallineamento determini la correzione necessaria.} Valutare il trainer usando i pesi del campionatore scompone esattamente ogni errore sui token campionati in una \textit{discrepanza numerica} del motore e un \textit{ritardo della policy} del trainer, e li tracciamo entrambi durante l’addestramento. La discrepanza numerica resta pressoché costante, quindi introduce negli aggiornamenti una distorsione quasi fissa; centrare il punteggio a ogni prefisso elimina la distorsione principale. Il ritardo della policy è prodotto dagli aggiornamenti del trainer stesso: la distorsione che lascia entra nell’aggiornamento successivo, che aumenta il ritardo seguente e chiude un ciclo di retroazione. La ponderazione per importanza interrompe questo ciclo solo finché il rapporto di ritardo resta concentrato; su Qwen3-1.7B fallisce al passo in cui la dimensione effettiva del campione del rapporto scende sotto la metà. Da questa analisi ricaviamo la \textbf{correzione discrepanza-ritardo} (DLC), che centra la discrepanza numerica, limita il rapporto di ritardo in base ai pesi del campionatore e risincronizza il campionatore quando la dimensione effettiva del campione scende sotto la metà. Con un campionatore non aggiornato, DLC mantiene la divergenza KL rispetto all’addestramento on-policy entro il doppio della divergenza KL tra due addestramenti on-policy indipendenti su Qwen3-0.6B e Qwen3-1.7B; inoltre, la sua risincronizzazione evita collassi che le correzioni per token non riescono a prevenire e che una divergenza KL misurata sui prefissi del campionatore non rileva.