Apprendere policy robotiche con qualità controllabile mediante rietichettatura retrospettiva iterativa

Abstract degli autori

La valutazione delle policy robotiche si basa spesso su un segnale binario di successo per stabilire se un compito è stato completato. Nelle applicazioni nel mondo reale, tuttavia, i comportamenti di esecuzione desiderati sono definiti anche da attributi di qualità, come la velocità di esecuzione e la fluidità dei movimenti, che devono essere controllati dinamicamente in base ai requisiti del compito. Per affrontare questa esigenza, introduciamo la Quality-Controllable Policy (QCP), una policy robotica che consente, in fase di inferenza, di controllare sia i singoli attributi di qualità sia le loro combinazioni. Per estendere l’intervallo di qualità controllabile oltre le dimostrazioni iniziali, proponiamo inoltre un ciclo iterativo di rietichettatura retrospettiva: QCP raccoglie rollout online con etichette di qualità obiettivo, aggiunge al dataset le traiettorie riuscite, rietichetta a posteriori le traiettorie accumulate in base alla qualità misurata e sottopone la policy a fine-tuning. Gli esperimenti su Robomimic e RoboEval dimostrano che, iterazione dopo iterazione, QCP migliora costantemente sia la qualità dell’esecuzione dei compiti sia i tassi di successo, producendo rollout riusciti che superano per qualità le dimostrazioni iniziali. Infine, convalidiamo QCP in compiti di manipolazione nel mondo reale: il controllo della velocità aumenta la produttività nelle operazioni con nastri trasportatori, mentre il controllo della stabilità durante il trasporto migliora la riuscita del trasporto di bicchieri da vino. Questi risultati dimostrano che le policy con qualità controllabile offrono vantaggi pratici nelle applicazioni fisiche.