LASER: allineamento dell’aggiunto nello spazio latente per l’apprendimento per rinforzo offline con vincoli sul supporto e regolarizzazione entropica

Abstract degli autori

L’apprendimento per rinforzo (RL) offline consente di ottimizzare una politica a partire da dataset statici, senza costose interazioni online, ma resta limitato dal rischio di eseguire azioni fuori distribuzione (OOD). Gli approcci recenti riducono questo rischio apprendendo una politica di imitazione del comportamento tramite flow matching e svolgendo poi l’apprendimento per rinforzo nel suo spazio latente vincolato. Tuttavia, ottimizzare ingenuamente la politica nello spazio latente può facilmente farla collassare in una modalità fragile o indurla a sfruttare artefatti pronunciati del critico appreso. In questo lavoro riscontriamo che la regolarizzazione entropica è essenziale per affrontare queste difficoltà nell’apprendimento per rinforzo nello spazio latente. Presentiamo LASER, un nuovo algoritmo di apprendimento per rinforzo offline che applica l’allineamento dell’aggiunto nello spazio latente per ottenere un apprendimento per rinforzo con regolarizzazione entropica nello spazio latente, usando politiche di flusso espressive ed evitando la retropropagazione nel tempo. Attraverso esperimenti approfonditi su 40 compiti impegnativi di OGBench, con dataset di qualità variabile, mostriamo che LASER raggiunge prestazioni allo stato dell’arte. In particolare, LASER usa iperparametri fissi, specifici del metodo, per tutti i compiti e supera i metodi di riferimento valutati, compresi quelli ottimizzati per compiti e dataset specifici: un risultato che evidenzia la robusta applicabilità di LASER. Sito del progetto: https://mit-realm.github.io/laser/.