Gli agenti VLM di frontiera sono pronti a diventare generalisti robotici? Uno studio empirico con Embodied Agent Arena

Abstract degli autori

Un generalista robotico deve interpretare una scena, agire su di essa e soddisfare tutte le condizioni di un compito. In che misura i modelli di visione-linguaggio (VLM) di frontiera sono all’altezza di queste richieste? Presentiamo Embodied Agent Arena, che valuta dieci agenti VLM in cinque ambiti: geometria, ragionamento spaziale, affordance, pianificazione dei compiti e manipolazione. I suoi 1.000 casi combinano 32 fonti consolidate con GeoProbe, il nostro benchmark di 168 casi per la stima della camera, del movimento, della profondità e della scala. Un’infrastruttura minima lascia al modello le decisioni sul compito, attraverso interfacce proprie di ciascuna fonte. I modelli a pesi chiusi sono in testa in tutti e cinque gli ambiti, mentre i VLM a pesi aperti mostrano capacità utili di ragionamento spaziale, ma risultati considerevolmente inferiori nella pianificazione e nella manipolazione. Dietro queste medie, errori geometrici simili nascondono distorsioni diverse di scala e forma, e stime valide delle regioni non garantiscono l’individuazione di punti d’azione utilizzabili. Durante l’esecuzione, gli agenti possono raggiungere i primi sotto-obiettivi, ma poi perdere il controllo dell’oggetto, associare un’azione alla regione di destinazione sbagliata o fermarsi prima che venga raggiunto lo stato fisico richiesto. Un calcolo aggiuntivo non risolve questi problemi in modo uniforme: la correzione del codice può ripristinare l’esecuzione senza portare a termine il compito, mentre l’autovalutazione può ribaltare giudizi corretti. Anche i costi dei fallimenti variano: i pianificatori più efficaci concentrano il dispendio di token dovuto ai fallimenti nei compiti prolungati di controllo del corpo, mentre altri modelli falliscono diffusamente nelle diverse procedure. Tracce abbinate mostrano come un recupero efficace usi il feedback per ripristinare un prerequisito mancante e portare avanti il resto del compito.