OpenRUA: gli agenti che usano i robot sono policy visuomotorie zero-shot

Abstract degli autori

Gli agenti di programmazione stanno estendendo il proprio raggio d’azione al mondo fisico, scrivendo ed eseguendo programmi per il controllo dei robot. Ci si potrebbe aspettare che usino lo stack software consolidato che gli ingegneri hanno sviluppato nel corso di decenni per accedere ai sensori e controllare il movimento. Eppure, i lavori precedenti si sono concentrati soprattutto sulla realizzazione di complesse infrastrutture di supporto su misura per coordinare gli agenti nell’uso dei robot, in particolare definendo flussi di lavoro specializzati e fornendo interfacce dedicate. Questo solleva una domanda: «È necessario sviluppare queste ulteriori infrastrutture di supporto?». Presentiamo OpenRUA, un’infrastruttura di supporto priva di livelli di astrazione su misura che offre ad agenti di programmazione già disponibili soltanto l’accesso tramite terminale a ROS 2, l’interfaccia software nativa del robot. OpenRUA adotta un’impostazione minimalista in cui lo spazio di lavoro funge da infrastruttura di supporto: mette a disposizione solo la documentazione di ROS 2 e strumenti di base, lasciando che l’agente di programmazione organizzi da sé il proprio lavoro, senza coordinare alcun flusso di lavoro degli agenti. In questo spazio di lavoro, OpenRUA riconduce la percezione all’I/O su file e la manipolazione alla programmazione. Con Claude Code basato su Claude Opus 5, OpenRUA raggiunge tassi di successo del 99,0% su CaP-Bench e dell’87,0% su LIBERO-PRO, dimostrando che un agente di programmazione già disponibile può fungere da policy visuomotoria zero-shot attraverso l’interfaccia nativa del robot, senza primitive su misura né addestramento specifico per il compito. Ulteriori analisi di questa impostazione minimalista rivelano comportamenti emergenti notevoli degli agenti di programmazione: (1) Per la percezione, l’agente scrive spontaneamente programmi che elaborano gli input sensoriali grezzi e ricavano misure metriche nel 96,80% degli episodi. (2) Per la manipolazione, l’agente realizza spontaneamente client per il controllo del movimento (per esempio, il controllo della pinza) nel 95,87% degli episodi e programmi di controllo ad anello chiuso (per esempio, che regolano il movimento in base ai dati dei sensori) nel 50,13% degli episodi. Il nostro codice è disponibile all’indirizzo https://github.com/terminalworld/OpenRUA.