HandsOn: un benchmark di simulazione su larga scala per la manipolazione con destrezza generalizzabile

Abstract degli autori

La manipolazione di uso generale richiede comportamenti affidabili con diverse configurazioni robotiche, diversi oggetti e diverse esigenze dei compiti. Presentiamo HandsOn, una piattaforma di simulazione componibile e un benchmark per la manipolazione con destrezza tra diverse configurazioni robotiche. Supporta cinque bracci robotici, sei mani robotiche dotate di destrezza e circa 200 asset rigidi, articolati e deformabili in scene randomizzate. Il benchmark abbina 18.000 dimostrazioni umane selezionate a 66 compiti verificati da esseri umani: Core-50 supporta l’apprendimento basato su dimostrazioni e i test di esecuzione, mentre Transfer-16 valuta il trasferimento di asset e relazioni, la composizione di abilità e la manipolazione di oggetti deformabili senza dimostrazioni di addestramento per i compiti bersaglio. Esecuzioni qualitative su robot reali illustrano il trasferimento dalla simulazione alla realtà. Tra metodi basati su modelli di diffusione, vision-language-action, world-action e VLM guidati da prompt, la migliore policy multitask addestrata raggiunge una percentuale di successo del 29,1% su Core-50. Senza fine-tuning sul benchmark, GPT-6, usando move_eef per controllare palmo e dita, raggiunge il 5,2% su Core-50 e l’1,9% su Transfer-16 in 660 prove. Le analisi diagnostiche per fasi delle policy addestrate rivelano difficoltà nello stabilire il contatto, coordinare le azioni e mantenere gli obiettivi raggiunti, oltre a errori nella sequenza delle azioni nei compiti composti. HandsOn offre una base comune per studiare la generalizzazione nella manipolazione e i limiti dell’interazione fisica affidabile.