Ottimizzatore a rango adattivo guidato dallo spettro per l’apprendimento per rinforzo dei modelli linguistici di grandi dimensioni con ricompense verificabili

Abstract degli autori

L’apprendimento per rinforzo con ricompense verificabili (RLVR) sta cambiando il modo in cui i modelli linguistici di grandi dimensioni (LLM) acquisiscono capacità di ragionamento, ma gli ottimizzatori impiegati restano in larga misura quelli ereditati dall’addestramento con teacher forcing. Sorge quindi una domanda fondamentale: l’RLVR produce una geometria dell’ottimizzazione distinta, che richiede un ottimizzatore diverso? Esaminiamo la questione attraverso la struttura spettrale dei gradienti degli LLM e scopriamo che l’energia del gradiente si concentra progressivamente in un sottospazio effettivo sempre più piccolo. Questo fenomeno è caratteristico dell’RLVR: è assente nel fine-tuning supervisionato (SFT) e scompare in larga misura quando la ricompensa verificabile viene sostituita con una ricompensa casuale. Inoltre, il rango necessario a catturare una frazione fissa dell’energia del gradiente diminuisce costantemente durante l’addestramento, mostrando che la dimensionalità effettiva degli aggiornamenti utili evolve a sua volta. Questi risultati suggeriscono un nuovo principio di ottimizzazione: anziché fissare dall’esterno il rango degli aggiornamenti, un ottimizzatore dovrebbe adattarlo all’evoluzione della struttura spettrale del gradiente. Presentiamo Ares (Adaptive Rank-Effective Spectral Optimization), che stima il rango effettivo degli aggiornamenti dalla distribuzione spettrale dell’energia del gradiente, ne segue l’evoluzione e confina nel sottospazio a basso rango così individuato il segnale del gradiente che guida ciascun aggiornamento. Su LLM di diverse dimensioni, Ares migliora l’accuratezza rispetto agli ottimizzatori più diffusi e si generalizza a diversi algoritmi RLVR e compiti. I risultati suggeriscono che un’ottimizzazione efficace potrebbe richiedere ottimizzatori progettati in funzione della geometria e delle dinamiche del processo di addestramento. Rendiamo disponibili il codice e i dati all’indirizzo https://github.com/RUCAIBox/Ares.