Q-learning con corrispondenza dell’aggiunto scalare

Abstract degli autori

Le policy di flusso rappresentano distribuzioni delle azioni ricche e diversificate, e il fine-tuning di queste policy con l’apprendimento per rinforzo off-policy, per migliorarle oltre le dimostrazioni, suscita un interesse crescente. Tuttavia, effettuare il fine-tuning di una policy di flusso rispetto a una funzione di valore appresa non è semplice, perché la policy genera l’azione attraverso numerosi passaggi di flusso. La corrispondenza dell’aggiunto offre un metodo fondato per aggiornare il modello di flusso stesso, propagando l’informazione sul valore dall’azione finale a ciascun passaggio di flusso. Richiede però un prodotto vettore-Jacobiano attraverso la policy a ogni passaggio, con un costo che cresce con il numero di passaggi di flusso e con le dimensioni della policy. Osserviamo che lo Jacobiano della velocità delle policy di flusso preaddestrate, mediato sul batch, si concentra sulla propria diagonale. Sulla base di questo risultato, ricaviamo una formula esplicita per un aggiunto scalare che moltiplica il gradiente del valore rispetto all’azione finale per il tempo di flusso, eliminando i prodotti vettore-Jacobiano a ogni passaggio. Riscontriamo inoltre che, quando si usa l’aggiunto scalare, è particolarmente importante controllare il valore attribuito dal critic alle azioni generate dalla policy. Sulla base di questi risultati, proponiamo Q-learning with Scalar Adjoint Matching (SQAM), che combina l’aggiunto scalare con una penalizzazione del valore per quelle azioni. I miglioramenti di SQAM si concentrano nei quattro domini più difficili di OGBench, dove il suo tasso di successo supera quello della migliore baseline in ciascun dominio di un valore compreso tra 18 e 35 punti percentuali. Per verificare se SQAM si estenda anche a grandi policy preaddestrate, effettuiamo il fine-tuning di una policy visione-linguaggio-azione su un robot bimanuale reale. SQAM migliora i risultati del fine-tuning supervisionato in tutti e tre i compiti.