Primo esame incarnato

Abstract degli autori

I primi successi nella robotica agentica fanno pensare a un possibile cambio di paradigma verso l’uso di agenti di programmazione per controllare i robot. I benchmark di robotica esistenti si basano sull’apprendimento di policy visuomotorie, perciò non è chiaro se gli agenti di programmazione siano in grado di controllare in modo affidabile robot diversi, nel rispetto dei vincoli del mondo fisico. Presentiamo quindi Embodied First Exam, un framework di valutazione unificato, completo e nativo per agenti, in cui gli agenti di programmazione possono scegliere autonomamente l’approccio di controllo: controllo diretto, scrittura di codice per controllare il robot oppure addestramento di una policy per controllarlo. Ci auguriamo che possa rappresentare un primo esame per gli agenti di programmazione prima del loro ingresso nel mondo fisico: comprende 1.156 task, distribuiti in 35 suite e su 47 robot, incluse 9 nuove suite che ampliano l’ambito oltre le attività di pick-and-place, arrivando a rompicapi spaziali, manipolazione abile, interazione tra più robot, controllo dinamico dell’intero corpo e ingegneria da simulazione a simulazione. Ogni task può essere eseguito in un massimo di tre modalità di valutazione. La modalità standard riproduce il mondo reale: l’agente riceve soltanto osservazioni dei sensori e, per impostazione predefinita, non può reimpostare l’ambiente. La variante in tempo reale mantiene l’ambiente in funzione mentre l’agente ragiona. La modalità privilegiata dà all’agente accesso all’intero stato del simulatore e a un numero illimitato di reimpostazioni, permettendogli di cercare una soluzione-oracolo a fini di addestramento. I tassi di successo in questa modalità costituiscono un limite superiore approssimativo. Nei 456 task principali, il più efficace degli otto agenti, GPT-6 Astra in Codex, raggiunge un tasso di successo del 34% nella modalità standard, lasciando ampio margine di miglioramento. Per capire dove falliscono gli agenti, classifichiamo la fase in cui gli approcci non riusciti si rivelano inefficaci e confrontiamo i fallimenti tra agenti, modalità e categorie di fasi.