CaPtain: una pipeline di post-training per agenti robotici basati sul codice come policy

Abstract degli autori

Nei compiti di programmazione, navigazione sul web e uso di strumenti, gli agenti basati su modelli linguistici vengono ormai addestrati abitualmente con la stessa ricetta: fine-tuning supervisionato (SFT) per imparare a usare l’interfaccia, seguito da reinforcement learning (RL) multi-turno per padroneggiarla. L’approccio del codice come policy (CaP) formula la manipolazione robotica nello stesso modo: la policy scrive codice usando le API del robot e legge i risultati, perciò dovrebbe essere possibile applicare la stessa ricetta. Tuttavia, gli agenti CaP esistenti aggirano l’addestramento: si basano su prompt rivolti a modelli frontier chiusi oppure delegano la manipolazione a modelli preaddestrati vision-language-action (VLA) e a skill di alto livello, mentre i piccoli modelli vision-language (VLM) open falliscono del tutto. Presentiamo CaPtain, una pipeline open di post-training che trasforma un piccolo VLM open in un agente CaP capace, senza ricorrere a VLA, modelli frontier o stati privilegiati al momento del test. CaPtain addestra e distribuisce la policy all’interno di CaPtain-Harness, che mette a disposizione primitive di percezione a basso livello, geometria e movimento protetto, sia in simulazione sia su hardware reale. Per prima cosa, allineiamo il modello di base tramite SFT su traiettorie sintetiche generate con GPT-6 Astra, quindi applichiamo RL multi-turno. Il RL multi-turno deve attribuire il merito a decine di richieste dell’agente, i cui effetti fisici spesso si manifestano solo diversi turni dopo, sulla base di un unico risultato al termine dell’episodio. Introduciamo quindi un critico fisico che legge lo stato privilegiato del simulatore, mai visto dalla policy, e attribuisce a ogni richiesta un merito in base a quanto modifica la probabilità prevista di successo. Partendo da Qwen3.5-4B (0% in zero-shot), CaPtain-4B raggiunge un tasso di successo del 55,4% su LIBERO, su dati tenuti da parte, dopo l’SFT e del 73,8% dopo l’RL. Su LIBERO-PRO raggiunge il 78,5%, superando diversi agenti basati su modelli frontier; inoltre, i miglioramenti ottenuti con l’RL si mantengono in tre batterie di perturbazioni (da +17,6 a +21,2 punti). Senza addestramento sul dominio di destinazione, raggiunge l’83,3% su SimplerEnv WidowX, supera i modelli frontier su CaP-Bench e viene eseguito su un robot reale dopo un adattamento svolto solo in simulazione. Rilasciamo tutto il codice, i dati e i pesi del modello.