Modello di ricompensa basato sull’avanzamento per l’apprendimento per rinforzo tramite modelli linguistici di grandi dimensioni

Abstract degli autori

Gli algoritmi tradizionali di apprendimento per rinforzo (RL) presentano notevoli limiti nell’affrontare compiti a lungo termine con ricompense sparse. I recenti progressi hanno sfruttato i modelli linguistici di grandi dimensioni (LLM) per migliorare l’RL, utilizzando la loro conoscenza del mondo per pianificare i compiti e generare ricompense. Tuttavia, gli approcci basati sulla pianificazione dipendono spesso da librerie di abilità predefinite e non riescono a ottimizzare le politiche di controllo di basso livello, mentre i metodi basati sulle ricompense richiedono un ampio feedback umano o una ricerca esaustiva a causa della complessità dei compiti. In questo articolo proponiamo il Progress Reward Model for RL (PRM4RL), un nuovo framework che integra pianificazione dei compiti e ricompense dense per migliorare l’RL. Per la pianificazione di alto livello, un compito complesso viene scomposto in una serie di sottocompiti semplici e gestibili; una funzione di avanzamento dettagliata e orientata ai sottocompiti permette di monitorare l’avanzamento dell’esecuzione del compito. Per la generazione delle ricompense di basso livello, ispirandoci al reward shaping basato sul potenziale, usiamo la funzione di avanzamento per costruire un Progress Reward Model (PRM), che offre garanzie di ottimalità e convergenza fondate sul piano teorico e consente così un’efficace ottimizzazione delle politiche. I risultati sperimentali su compiti di controllo robotico mostrano che il nostro approccio supera sia i metodi di pianificazione sia quelli basati sulle ricompense che utilizzano LLM, raggiungendo prestazioni allo stato dell’arte. Il codice è disponibile all’indirizzo https://github.com/deng-ai-lab/PRM4RL.