Macchine di Turing incarnate: codice che conserva lo stato per l’automiglioramento ricorsivo dei robot

Abstract degli autori

La maggior parte delle policy robotiche mantiene un modello nel ciclo di controllo: una VLA traduce le osservazioni in azioni, mentre un Agent Harness, come Agent-as-Policy o Harness VLA, interroga un VLM per prendere decisioni durante l’esecuzione. Proponiamo una prospettiva diversa: il mondo fisico è una macchina di Turing incarnata, il cui nastro è lo stato del robot e dell’ambiente e le cui regole sono la policy. Se questo stato può essere rappresentato accuratamente, il processo decisionale può essere scritto interamente in codice. Proponiamo quindi Code-Only-as-Policy (COAP): il codice misura e tiene traccia dello stato del robot, dell’ambiente e del compito a partire dalle immagini delle telecamere e dalla propriocezione, e prende ogni decisione sulla base di tale stato. Lo stesso codice si applica a episodi diversi e compiti diversi condividono un’unica libreria, senza un VLM o una VLA nel ciclo di controllo. Rispetto alle VLA e agli Agent Harness, analizziamo tre vantaggi di COAP: (i) Stato esplicito: lo stato può essere memorizzato nel codice; (ii) Esecuzione: il codice rende controllabile il processo decisionale, si riprende dai fallimenti con flessibilità e opera online in modo rapido e a basso costo; (iii) Estensibilità: i nuovi compiti riutilizzano, ereditano o ampliano la libreria condivisa, consentendo alle capacità di accumularsi da un compito all’altro. Questi vantaggi rendono COAP uno strumento adatto all’automiglioramento ricorsivo (RSI): agenti che scrivono codice sviluppano la libreria in un ciclo chiuso e ogni modifica è esplicita e controllabile. Nei 42 compiti bimanuali di RoboDojo, la libreria risultante raggiunge un tasso di successo del 70,24% senza un modello in fase di test. Il limite superiore di COAP dipende dall’accuratezza con cui lo stato viene rappresentato per prendere decisioni e dalla robustezza della logica del codice. Proponiamo dunque COAP come nuovo paradigma per i compiti che coinvolgono un corpo fisico; poiché si applica a episodi diversi, può anche fungere da motore efficiente per la produzione di dati destinati alle VLA e agli Agent Harness.