MAC-v2: espansione del valore basata su modello su orizzonti lunghi a partire dai pixel

Abstract degli autori

Studiamo se l’\emph{espansione del valore basata su modello su orizzonti lunghi} possa fungere da framework efficace nell’apprendimento per rinforzo offline basato sui pixel (RL). L’espansione del valore basata su modello su orizzonti lunghi a partire dai pixel è decisamente più difficile che negli ambienti basati sugli stati, poiché l’agente deve apprendere sia la rappresentazione sia la sua dinamica, e gli errori dell’una o dell’altra possono accumularsi ricorsivamente lungo traiettorie immaginate. Introduciamo MAC-v2, che consente l’espansione basata su modello su orizzonti lunghi a partire dai pixel, addestrando un modello latente del mondo senza ricostruzione e suddividendo le azioni in blocchi. Apprendendo rappresentazioni in base a obiettivi di predizione e controllo, MAC-v2 non deve codificare dettagli visivi irrilevanti per il controllo, che possono ostacolare la previsione della dinamica. La suddivisione delle azioni in blocchi mitiga ulteriormente l’errore di predizione, riducendo il numero di predizioni ricorsive del modello necessarie per l’espansione del valore. In diversi benchmark visivi, tra cui visual OGBench, MMBench2, Robomimic e LIBERO-10, MAC-v2 ottiene prestazioni elevate rispetto ai metodi di riferimento di RL offline model-free e basati su modello. Le nostre analisi mostrano che l’espansione del valore basata su modello su orizzonti lunghi è fondamentale per le prestazioni di MAC-v2 e che sia la suddivisione delle azioni in blocchi sia gli obiettivi di apprendimento latente sono essenziali per un’immaginazione latente affidabile su orizzonti lunghi.