MM-ABC: verso la manipolazione mobile generalista attraverso percezione, coordinamento e immaginazione

Abstract degli autori

La manipolazione mobile permette ai robot di interagire oltre uno spazio di lavoro cinematico fisso, rendendo controllabile la regione raggiungibile. Questa flessibilità pone due sfide centrali: percepire lo spazio mentre il robot è in continuo movimento e coordinare le diverse azioni del braccio e della base. Gli approcci esistenti rafforzano la comprensione della geometria con rappresentazioni 3D esplicite o modelli predittivi del mondo e spesso separano mobilità e manipolazione in flussi d’azione distinti. Sosteniamo che una manipolazione mobile efficace richieda non solo questa separazione, ma anche rappresentazioni che consentano ai flussi di collaborare in modo efficiente. Presentiamo MM-ABC, un modello di base costruito attorno a Seeing, Coordinating, and Imagining Arm-Base Collaboration. MM-ABC combina caratteristiche VLM sparse e multilivello per la percezione spaziale; un ramo dedicato al futuro, usato solo durante l’addestramento, che impiega l’immaginazione del mondo e l’intento geometrico come supervisione aggiuntiva, rafforzando la percezione e la previsione dell’intento di manipolazione e migliorando il segnale complessivo di apprendimento; e MM-APT, che coordina flussi separati di manipolazione e mobilità mediante attenzione congiunta mascherata e predizione x di azioni pulite. Negli studi controllati per ablazione, sostituire la predizione di azioni pulite con quella della velocità riduce il tasso di successo nei compiti compositi già visti di RoboCasa365 dal 32,8% al 29,2%; eliminare la supervisione sul futuro o il condizionamento multilivello provoca cali maggiori. Preaddestriamo MM-ABC su oltre 5.000 ore di dati robotici eterogenei, comprendenti oltre 400K episodi, 12 dataset e 17 configurazioni robotiche. Gli esperimenti riguardano EBench, RoboCasa365, ManiSkill-HAB, LIBERO, LIBERO-Plus e la manipolazione mobile nel mondo reale. MM-ABC raggiunge un tasso di successo del 44,71% su EBench, del 61,2% su RoboCasa365, del 99,1% su LIBERO, dell’82,8% su LIBERO-Plus senza addestramento sulle perturbazioni e un tasso medio di successo dell’83% su cinque compiti nel mondo reale.