SO-101 Bench: manipolazione spaziale accessibile

Abstract degli autori

I bracci a basso costo come SO-101 sono diventati il punto d’ingresso più comune all’apprendimento robotico; eppure, nessuna policy rilasciata è in grado di eseguire su questi bracci, senza ulteriori adattamenti, compiti condizionati dal linguaggio e vincolati spazialmente, mentre i benchmark esistenti per SO-101 funzionano solo su hardware fisico, con compiti semplici e pochi oggetti esclusi dall’addestramento. Presentiamo SO-101 Bench, un benchmark simulato per la manipolazione spaziale condizionata dal linguaggio, basato su un gemello digitale realizzato con Isaac Lab di una configurazione SO-101 reale. Comprende quattro compiti valutati in cinque famiglie, 138 oggetti suddivisi tra oggetti già visti, istanze non viste e classi non viste, 916 episodi di valutazione con sottoinsiemi dedicati ad apparenze non viste, alla pianificazione della rotazione per adattare gli oggetti e alla memoria delle occlusioni, nonché 3.629 dimostrazioni simulate su cui ogni policy appresa viene sottoposta a fine-tuning con un budget computazionale uguale per tutte. Il gemello digitale classifica le policy come fa il robot reale: cinque policy addestrate senza dati reali, quattro VLA e un agente LLM mantengono esattamente la stessa posizione in classifica quando gli stessi pesi vengono eseguiti sul braccio fisico, in un ambiente non visto con oggetti non visti (rho di Spearman = 1,00, MMRV = 0,000), sebbene la simulazione sovrastimi il successo. Tra nove modelli VLA e world-action, le migliori policy apprese raggiungono un punteggio vicino al 61%; il posizionamento spaziale, le classi di oggetti non viste e la pianificazione della rotazione per adattarli restano problemi aperti. Un agente LLM che scrive codice e affida la presa a una policy appresa ottiene l’83,2%; un’analisi di ablazione mostra che questo vantaggio dipende dalla scelta della struttura di esecuzione e del modello linguistico.