Agenti di programmazione autoevolutivi: dai programmi digitali all’intelligenza nel mondo fisico

Abstract degli autori

I modelli visione-linguaggio-azione (VLA) e mondo-azione (WAM) associano direttamente osservazioni e istruzioni alle azioni dei robot. Questa associazione diretta vincola la policy all’addestramento: piccoli cambiamenti nella disposizione o nel punto di vista causano fallimenti e le istruzioni si generalizzano poco. La causa di fondo è nella rappresentazione: i requisiti del compito, le condizioni, l’avanzamento e il recupero dopo un fallimento sono codificati implicitamente nelle sequenze di azioni, e diventano quindi difficili da esaminare o modificare. Gli agenti di programmazione nel mondo digitale offrono un precedente: gli LLM chiamano strumenti, verificano i risultati e apportano revisioni in codice eseguibile sulla base del feedback. Lo stesso modo di operare, fondato su uno stato esplicito, un’esecuzione gestibile e procedure modificabili, è alla base della generalizzazione e dell’esecuzione di compiti di lunga durata nel mondo fisico, e permette all’esperienza fisica di ritornare sotto forma di programmi, memoria o evidenze riutilizzabili. Proponiamo Physical Coding, che rappresenta lo stato e l’esecuzione del compito come codice. Code as World registra oggetti, relazioni, vincoli e avanzamento; Code as Policy organizza pianificazione, verifica, recupero ed esecuzione. Realizziamo HexaAnything, che chiama strumenti di percezione, pianificazione e controllo, incluse le policy VLA/WAM, e prende decisioni durante l’esecuzione sulla base del feedback esterno. Le tracce verificate diventano dati e memoria, consentendo un’evoluzione che va dagli strumenti e da Harness ai pesi e alle architetture dei modelli e, infine, alla progettazione dell’hardware e dei compiti. Su RoboCasa365, HexaAnything migliora rispetto a XR-1 VLA sia nei compiti Composite-Unseen sia nel tasso di successo complessivo; HexaModel, addestrato con Harness, supera il modello di base in ogni split, indicando che le tracce di codice consentono di interiorizzare l’esecuzione fisica. Su PhyBench e con un robot AgileX a due bracci, l’agente completa autonomamente esperimenti di fisica e la maggior parte dei compiti su tavolo, spesso in tempi inferiori a quelli riportati nei risultati pubblicati. Osserviamo l’autoevoluzione dei dati, dei modelli e degli strumenti; il lavoro futuro punta a incorporare queste capacità nei pesi dei modelli, a riprogettare autonomamente architetture, linguaggi, rappresentazioni e compiti, e all’impiego nella produzione manifatturiera e nella scienza.