Attacca: controllo orientato agli obiettivi con continuità dello stato per agenti incarnati a lungo orizzonte

Abstract degli autori

Una capacità fondamentale degli agenti incarnati è raggiungere obiettivi complessi attraverso sequenze di compiti interdipendenti. Tuttavia, le politiche visive condizionate dall’obiettivo su cui si basano questi agenti vengono di norma valutate in interazioni isolate, nelle quali il bersaglio è già visibile. Queste valutazioni non rispecchiano quindi le condizioni che emergono durante l’esecuzione continua di compiti a lungo orizzonte. In tali contesti, ogni compito inizia dallo stato lasciato dal precedente: l’agente può trovarsi in una posizione diversa e avere un orientamento diverso, il mondo può essere stato modificato e il bersaglio della successiva interazione può essere fuori dal campo visivo. Di conseguenza, gli agenti che si affidano a queste politiche possono avere difficoltà a passare al compito successivo quando non riescono a individuare il bersaglio nell’osservazione corrente. Per affrontare questa sfida, proponiamo Attacca, un nuovo approccio che addestra politiche visive condizionate dall’obiettivo su traiettorie complete, dalla ricerca all’interazione, usando immagini dell’obiettivo svincolate dall’ambiente in cui avviene l’esecuzione. Attacca impiega un campionamento degli obiettivi indipendente dal contesto per associare a ogni dimostrazione un’immagine mascherata dell’obiettivo, compatibile per classe e proveniente da un altro mondo, eliminando la corrispondenza diretta tra scene e pose. Apprende inoltre a localizzare in modo denso il bersaglio nella vista corrente tramite una testa che predice la maschera del bersaglio, fornendo una supervisione ausiliaria oltre all’imitazione delle azioni. Introduciamo poi un condizionamento in base alla fase comportamentale, che insegna alla politica a distinguere le fasi di Ricerca, Avvicinamento e Interazione e ad adattare il controllo man mano che l’esecuzione procede. Valutiamo Attacca su diversi compiti per agenti incarnati, a breve e lungo orizzonte, in Minecraft. Il nostro metodo raggiunge un tasso di successo pulito del 39,0-47,5%, con un miglioramento di 1,7-2,4 volte rispetto alla migliore baseline. Nei compiti a lungo orizzonte ottiene tassi di completamento del 54%, 30% e 28%, con un miglioramento fino a 7 volte.