DexPolicy: esplorazione programmata per la manipolazione con destrezza guidata da traiettorie

Abstract degli autori

Nella manipolazione con destrezza, l’apprendimento per rinforzo (RL) deve prima individuare i punti di contatto tra dita e oggetto e poi controllare l’oggetto con precisione; il rumore nelle azioni che favorisce il primo obiettivo può ostacolare il secondo. Nei contesti guidati da traiettorie come ViViDex, in cui l’RL perfeziona traiettorie mano-oggetto ricavate da video di persone, nelle nostre esecuzioni PPO di riferimento il rumore nelle azioni resta vicino al livello iniziale dopo 5 milioni di passi. Questo suggerisce la necessità di controllare esplicitamente l’ampiezza dell’esplorazione. DexPolicy la definisce come funzione esplicita dei passi di addestramento, passando gradualmente da un’esplorazione ampia a una ristretta e mantenendo invariate le impostazioni relative a funzione di perdita, architettura, ricompensa e ottimizzatore. Esaminiamo tre configurazioni di ottimizzazione della policy: PPO, la prosecuzione dell’addestramento con GRPO senza critic e una variante di PPO parametrizzata mediante un flusso (FPO). Su cinque oggetti YCB e con tre seed di addestramento, il tasso medio di successo deterministico Target sale dal 49,4% al 68,1% (FPO), dal 14,1% al 45,4% (GRPO) e dal 32,0% al 35,7% (PPO). Su un braccio RealMan RM75 con una mano Inspire/RH56, in 360 prove su tre oggetti il tasso medio di successo Target sale dal 25,0% all’85,0% (FPO), dal 10,0% al 63,3% (GRPO) e dall’8,3% al 43,3% (PPO), con un modello addestrato per ciascuna combinazione di oggetto e metodo. L’esame delle componenti di PPO indica che il controllo del rumore è preferibile alla contrazione dell’ottimizzatore testata; su tre oggetti testati, la strategia di riduzione selezionata per PPO ottiene un tasso medio di successo Target superiore a quello di una riduzione lineare con gli stessi valori iniziale e finale. Il rendimento durante l’addestramento, il successo deterministico Target e la tolleranza al rumore in esecuzione non coincidono; le strategie di riduzione dovrebbero quindi essere valutate in base al successo finale nel compito, nelle condizioni di esecuzione previste, per ciascun compito e ciascuna configurazione di ottimizzazione della policy. Codice: https://github.com/AIGeeksGroup/DexPolicy. Sito web: https://aigeeksgroup.github.io/DexPolicy.