TrajEvolve: evoluzione delle traiettorie per l’apprendimento per rinforzo con attribuzione retrospettiva del merito

Abstract degli autori

Il paradigma dell’apprendimento per rinforzo (RL) ha ottenuto risultati notevoli nel potenziare le capacità di ragionamento dei modelli linguistici di grandi dimensioni (LLM). Tuttavia, quando viene applicato a compiti a lungo orizzonte, incontra gravi difficoltà: i) a causa dell’elevata complessità dei compiti, il modello fatica a campionare un numero sufficiente di traiettorie di successo, e la convergenza è lenta; ii) affidarsi esclusivamente a ricompense finali sparse fa sì che tutti i passaggi vengano aggiornati indiscriminatamente, favorendo la generazione di passaggi ridondanti. Quando diventa difficile garantire sia la quantità sia la qualità delle traiettorie di successo, le prestazioni risultano fortemente limitate. Il problema deriva dai limiti dei paradigmi di RL esistenti, che si affidano interamente alla capacità di ragionamento dei modelli di base e non sono in grado di ottimizzare attivamente le traiettorie. Per affrontarlo, proponiamo un nuovo paradigma di evoluzione delle traiettorie con attribuzione retrospettiva del merito, denominato TrajEvolve. TrajEvolve non si basa soltanto sulla traiettoria inferita dal modello, ma genera anche «traiettorie evolutive» perfezionando i passaggi di scarsa qualità nelle traiettorie precedenti. In questo modo, espone la policy a composizioni di alta qualità che rientrano nel supporto del modello di base, ma che vengono raramente campionate con budget di addestramento realistici. Inoltre, TrajEvolve riformula l’attribuzione continua del merito a livello di singolo passaggio come un compito di classificazione binaria: stabilire se ciascun passaggio sia necessario per completare il compito. Questa semplificazione non solo riduce la difficoltà dell’apprendimento, ma consente anche di ottenere le etichette dei passaggi mediante una verifica controfattuale, identificando con precisione quelli ridondanti. Ampi esperimenti su due dataset dimostrano la superiorità del metodo proposto.