Imparare ad agire con modelli del mondo, dando valore a ciò che viene dopo

Abstract degli autori

Una ricompensa terminale sparsa dice poco all’agente sui passaggi che compie. Gran parte delle informazioni mancanti è implicita nella dinamica dell’ambiente, perché ogni transizione di stato può modificare le condizioni necessarie per il successo molto prima che arrivi la ricompensa. Un modello del mondo addestrato su transizioni reali può imparare a prevedere che cosa cambia con ciascuna azione, ma un’osservazione prevista non indica di per sé se il successo sia diventato più probabile. Con una ricompensa terminale binaria, il critico di PPO formula questo giudizio stimando la probabilità di successo della policy corrente, ma soltanto per gli stati raggiunti dall’agente. Il nostro metodo, WM-PPO, combina elegantemente i due elementi. Per ogni azione campionata dalla policy, che venga eseguita o meno, il modello del mondo prevede l’osservazione successiva e il critico attribuisce un valore allo stato successivo previsto. Nel canale della policy, i confronti tra questi valori forniscono alla policy vantaggi ausiliari; nel canale del valore, la loro media fornisce al critico un target ausiliario. Un gate condiviso assegna un peso a entrambi i canali in base all’affidabilità con cui confronti con margini simili hanno previsto esiti reali nelle fasi precedenti dell’addestramento. La policy, il critico e il modello del mondo imparano tutti dalle interazioni dell’agente stesso, senza insegnanti né informazioni privilegiate, e in fase di inferenza viene usata soltanto la policy. A parità di numero di passaggi reali nell’ambiente, WM-PPO porta il tasso di successo dal 63,5% di PPO all’87,5% su ALFWorld e dal 39,3% al 52,9% su ScienceWorld. Eguaglia i perfezionamenti di PPO più efficaci che abbiamo testato su ALFWorld e supera il migliore di essi di 6,5 punti su ScienceWorld. La policy addestrata completa più spesso i passaggi preliminari prima di posizionare un oggetto o impegnarsi in una risposta.