Imparare dall’esperienza della flotta: un paradigma di apprendimento collettivo per i robot

Abstract degli autori

L’esperienza maturata durante l’impiego offre ai robot l’opportunità di rendere più affidabili le proprie policy imparando dalle loro esecuzioni. Tuttavia, l’apprendimento basato sulle correzioni umane richiede che i teleoperatori monitorino l’esecuzione e intervengano quando le policy falliscono: un impegno difficile da sostenere quando le flotte di robot crescono. Introduciamo l’apprendimento dall’esperienza collettiva (CEL), un paradigma in cui i robot impiegati sul campo condividono l’esperienza delle proprie esecuzioni per migliorare una policy comune. Realizziamo CEL attraverso il fine-tuning basato sul recupero di esperienze guidato dai fallimenti (FERT): i contesti dei fallimenti emersi durante le esecuzioni dei robot sono usati per recuperare segmenti di traiettoria pertinenti dalle esperienze di successo condivise dalla flotta, le cui azioni servono da supervisione per aggiornare la policy, senza raccogliere ulteriori dimostrazioni di esperti o azioni correttive. Un sistema di addestramento asincrono tollerante ai guasti (FATS) coordina la raccolta delle esperienze, l’ottimizzazione della policy e la sua distribuzione nonostante le interruzioni locali nella flotta di robot. In cinque compiti di manipolazione nel mondo reale, le policy risultanti raggiungono tassi di successo del 93,3-99,2%, valutati su 120 prove per compito con robot esclusi dalla raccolta dei dati di addestramento. Mantenendo fisso il tempo di raccolta per robot, le flotte più grandi forniscono più esperienze e FERT ottiene in genere tassi di successo più elevati nelle dimensioni di flotta valutate. Nel confezionamento di telefoni in più fasi, l’apprendimento con 96 robot porta il tasso di successo dal 79,2% al 98,3%. Questi risultati indicano che l’esperienza collettiva può costituire una base pratica per l’apprendimento scalabile dei robot e una strada per migliorare l’affidabilità delle policy durante l’impiego, senza raccogliere ulteriori azioni correttive da parte di esperti.