Augmentron: augmentation visiva multi-view scalabile per l’apprendimento robotico

Abstract degli autori

Le policy robotiche addestrate su dimostrazioni visivamente poco varie possono diventare sensibili a caratteristiche dell’ambiente non pertinenti al compito. I metodi di augmentation generativa esistenti possono introdurre diversità visiva, ma elaborare ogni fotogramma e ogni inquadratura della telecamera in modo indipendente è oneroso dal punto di vista computazionale e può produrre osservazioni incoerenti tra telecamere e timestamp. Presentiamo Augmentron, una pipeline consapevole della geometria che genera rappresentazioni riutilizzabili delle scene e le rende attraverso le pose registrate delle telecamere. In questo modo si producono variazioni dell’ambiente e dello spazio di lavoro coerenti nel tempo e tra le diverse inquadrature, preservando robot, oggetti del compito, azioni e annotazioni. In tre compiti di manipolazione fisica, sostituire metà del dataset di addestramento raccolto nel mondo reale con dati Augmentron migliora il tasso di successo del modello in tutti e tre i compiti, sia con oggetti distrattori in distribuzione sia fuori distribuzione, e nelle valutazioni delle variazioni dello spazio di lavoro fuori distribuzione. In un confronto distinto con tecniche di augmentation alternative, Augmentron ottiene il più alto tasso di successo aggregato in tutte e tre le condizioni. I risultati mostrano che introdurre dati aumentati in una ricetta di addestramento può aiutare le policy a generalizzare ad ambienti dinamici del mondo reale.