Esplorare i limiti della generalizzazione combinatoria nella manipolazione robotica

Abstract degli autori

Nella manipolazione robotica, i modelli Vision Language Action (VLA) possono eseguire abilità atomiche, ma la manipolazione su sequenze lunghe richiede di ricombinarle senza disporre di dimostrazioni per ogni combinazione. L’approccio basato sulle istruzioni complete tratta il concatenamento delle abilità come un problema di imitazione su sequenze lunghe. In uno studio controllato, l’addestramento su istruzioni complete con un numero limitato di sequenze di combinazioni di abilità raggiunge un tasso di successo nell’ordine previsto del 40,0% sulle combinazioni incluse nell’addestramento, ma solo del 7,7% sulle ricombinazioni. Ciò suggerisce che il modello memorizzi schemi di sequenze anziché ricombinare le abilità in modo robusto. Presentiamo Hierarchical Subtask Execution (HSE), un framework diagnostico che rende osservabile la ricombinazione delle abilità tramite un’interfaccia modulare condivisa tra pianificatore, meccanismo di attivazione e policy, e permette di distinguere le diverse modalità di fallimento nelle sequenze lunghe. Presentiamo inoltre RoboCombine, un benchmark per la ricombinazione delle abilità senza traiettorie di addestramento che combinino più abilità, con metriche per il successo nell’ordine previsto e per il completamento delle transizioni tra sottoattività. RoboCombine mostra che la sola padronanza delle abilità atomiche non garantisce l’esecuzione nell’ordine previsto. I fallimenti si concentrano nelle transizioni in cui le sottoattività successive iniziano dagli stati lasciati dalle sottoattività precedenti, anziché dagli stati iniziali canonici delle abilità atomiche. Chiamiamo questa discrepanza «divario degli stati iniziali». Per affrontarla, presentiamo Pose Robust Task Initialization (PRTI), una strategia leggera di post-training per compiti atomici che amplia la gamma degli stati iniziali oltre quelli canonici. Su RoboCombine, con HSE e tempi di esecuzione stabiliti da un oracle, PRTI raggiunge un tasso di successo nell’ordine previsto del 18,16%, rispetto al 4,21% con perturbazioni casuali e al 9,47% con un oracle che reimposta il robot, senza traiettorie di addestramento che combinino più abilità. Questi risultati mostrano che la generalizzazione combinatoria richiede abilità atomiche robuste negli stati di passaggio, capaci di trasformare i progressi della prima fase in un’esecuzione affidabile delle fasi successive, e non soltanto la scomposizione in sottoattività note. Codice: https://github.com/AutoLab-SAI-SJTU/RoboCombine.