RoboArchitect: automatizzare la progettazione di agenti robotici con memoria persistente

Abstract degli autori

Lavori recenti mostrano che una policy robotica congelata offre prestazioni molto migliori all’interno di una struttura di controllo dell’agente, dove il codice di controllo decide quando interrogare la policy, consultare strumenti di visione o comandare direttamente il braccio. Oggi, però, queste strutture vengono realizzate a mano e riprogettate per ogni nuovo robot o benchmark. Mostriamo che la loro progettazione può essere automatizzata, offrendo una valida alternativa al fine-tuning su una nuova configurazione. In RoboArchitect, un modello di programmazione osserva le sequenze di azioni eseguite da un robot, individua le cause degli errori e modifica iterativamente la struttura di controllo attorno alla policy congelata. La struttura si evolve su un insieme di episodi usati per l’ottimizzazione, mentre la valutazione avviene su scene e compiti esclusi da tale insieme. Senza aggiornare i pesi di alcun modello, RoboArchitect porta il tasso medio di successo dal 9,7% al 43,3% su scene mai viste (4,5×) e dal 12,7% al 40,2% su compiti mai visti (3,2×), in diversi benchmark e con diverse policy. I miglioramenti sono maggiori quando il benchmark è molto diverso dai dati di addestramento della policy: integrando una policy generalista, la struttura di controllo evoluta produce uno specialista che spesso supera persino la versione sottoposta a fine-tuning. Vengono progettate automaticamente strategie di controllo intuitive, come sollevare un braccio inceppato per liberarlo o raggiungere l’obiettivo in orizzontale quando un ostacolo blocca il passaggio dall’alto. La struttura di controllo evolve anche una propria memoria persistente, che porta l’esperienza acquisita, per esempio le profondità di presa più efficaci, nelle decisioni successive. Questi risultati suggeriscono che nella manipolazione robotica esistono ampi margini di miglioramento nella struttura di controllo dell’agente e che la sua progettazione può essere automatizzata e ottimizzata efficacemente senza aggiornare i pesi.