La direzione degli aggiornamenti dei parametri on-policy è alla base della generalizzazione nel post-training degli LLM

Abstract degli autori

L’elevata capacità di generalizzazione dei paradigmi di post-training on-policy ha spinto a studiare come aggiornano i parametri. Questi studi, tuttavia, considerano i comportamenti osservati soltanto come effetti collaterali dell’addestramento on-policy, trascurando la possibilità di usarli come principi di ottimizzazione per migliorare la generalizzazione di altri paradigmi, come il fine-tuning supervisionato (SFT). Per superare questo limite, indaghiamo se esista uno specifico comportamento di aggiornamento on-policy in grado di produrre tali miglioramenti. Innanzitutto, le nostre analisi mostrano che l’SFT aggiorna i parametri lungo direzioni costanti, mentre il paradigma on-policy modifica continuamente la direzione durante l’addestramento. Questa differenza ci porta a concentrarci sulla direzione cumulativa degli aggiornamenti di ciascun parametro come comportamento promettente. Ne valutiamo quindi l’efficacia nel migliorare la generalizzazione proponendo On-Policy direction-constrained Supervised Fine-Tuning (OPSFT), che vincola gli aggiornamenti dell’SFT alla direzione individuata dai paradigmi on-policy. Gli ottimi risultati di OPSFT indicano che il vantaggio dei paradigmi on-policy in termini di generalizzazione può essere trasferito all’SFT attraverso la direzione degli aggiornamenti dei parametri. Una volta individuata tale direzione, anche l’SFT può generalizzare se i suoi aggiornamenti sono vincolati a seguirla. Questa scoperta offre due vantaggi pratici, combinando la forte capacità di generalizzazione dei paradigmi on-policy con i punti di forza dell’SFT, tra cui l’elevata efficienza dell’addestramento e la possibilità di sfruttare traiettorie di alta qualità. Per quanto riguarda l’efficienza, individuiamo direzioni di aggiornamento che favoriscono una forte generalizzazione con pochi passaggi di addestramento on-policy e applichiamo poi OPSFT per ottenere un’elevata efficienza nell’addestramento. Quanto all’impiego di traiettorie di alta qualità, OPSFT può utilizzarle per continuare a migliorare un modello sottoposto a post-training lungo la sua direzione di aggiornamento, senza compromettere la capacità acquisita con l’addestramento on-policy.