Trasferimento dall’essere umano al robot tramite l’integrazione dello spazio delle rappresentazioni e delle azioni nelle VLA

Abstract degli autori

Le policy Vision-Language-Action (VLA) preaddestrate offrono un solido punto di partenza per la distribuzione, ma adattarle a un robot e a un ambiente specifici richiede ancora dimostrazioni costose, specifiche per ciascuna configurazione. Le dimostrazioni umane sono molto più facili da raccogliere, ma sfruttarle direttamente è difficile a causa della notevole differenza tra le configurazioni umana e robotica, soprattutto quando la VLA di base è stata preaddestrata principalmente su dati robotici. Presentiamo H2RB (Human-To-Robot Bridge), un framework di co-training umano-robotico per adattare policy VLA preaddestrate a partire da dimostrazioni umane e robotiche non appaiate. H2RB colma il divario tra le configurazioni a entrambi i livelli di interfaccia: l’allineamento ancorato alla geometria colloca le osservazioni umane e robotiche in una rappresentazione compatibile, mentre un tokenizzatore con decoder disaccoppiato condivide i latenti delle azioni senza costringere entrambi i domini a passare attraverso un’unica mappatura delle azioni. Questo design consente alle dimostrazioni umane di fornire una supervisione comportamentale utile, preservando al contempo i ricchi priors visivi, semantici e di controllo della VLA preaddestrata. In compiti nel mondo reale, H2RB migliora notevolmente le prestazioni di trasferimento degli oggetti, da 8,0 a 51,8, e consente il trasferimento delle abilità, raggiungendo un punteggio di 62,7, in contesti in cui le baseline di co-training non riescono affatto a trasferire le abilità dimostrate dagli esseri umani. Il beneficio persiste anche quando cambia il posizionamento degli oggetti, migliorando il trasferimento fuori distribuzione da 6,0 a 45,3. H2RB indica un modo per usare le dimostrazioni umane come fonte scalabile di supervisione per adattare policy robotiche preaddestrate, riducendo la dipendenza dalla costosa raccolta di dati sul robot di destinazione.