Pianificazione iterativa di Gumbel per il controllo continuo

Abstract degli autori

La pianificazione basata sulla ricerca resta un potente paradigma per migliorare le policy nell’apprendimento per rinforzo e ha portato a risultati fondamentali in domini discreti. Tuttavia, estendere questo paradigma al controllo continuo mette in luce una discrepanza strutturale: la ricerca valuta un insieme finito di azioni candidate, mentre l’apprendimento per rinforzo continuo si affida in genere a policy gaussiane. Mostriamo che distillare l’azione vincente in una gaussiana continua induce un \textit{errore di proiezione} e una tendenza del gradiente ad ampliare la varianza a ogni passo, quando l’azione selezionata è sufficientemente lontana dalla media corrente. Nei test empirici, questa tendenza è associata a una varianza terminale più elevata e a un divario nei ritorni nei compiti valutati. Per affrontare il problema, proponiamo \textbf{Iterative Gumbel Planning (IGP)}. Adottando una policy categoriale fattorizzata per dimensione, IGP allinea naturalmente il supporto della policy alle azioni candidate della ricerca, eliminando l’errore di proiezione e riducendo l’approssimazione residua a un errore di discretizzazione limitato. Per aggirare l’esplosione combinatoria degli spazi di azione discreti ad alta dimensionalità, IGP combina il campionamento di candidati Gumbel Top-$K$ con una ricerca iterativa a più round in stile MPPI, per affinare la policy in ogni stato. Nei test empirici, IGP raggiunge prestazioni aggregate all’avanguardia ed efficienza campionaria su DMControl e HumanoidBench. Inoltre, genera sequenze di azioni più stabili e con una minore varianza temporale, dimostrando il suo potenziale pratico per l’impiego della robotica nel mondo reale.