Dai pianificatori VLM agli agenti robotici: strutture di supporto autoevolutive per la manipolazione dipendente dalle interazioni passate

Abstract degli autori

I modelli visione-linguaggio-azione (VLA) ottengono prestazioni elevate in diversi compiti di manipolazione nel mondo fisico, combinando comprensione visiva, condizionamento linguistico e generazione di azioni. Tuttavia, i compiti di lunga durata possono presentare dipendenze non markoviane: per prendere decisioni efficaci può essere necessario tenere traccia dell’avanzamento del compito e degli esiti delle interazioni passate, mentre gli effetti dell’osservabilità parziale e degli errori di esecuzione si accumulano nel tempo. Alcuni lavori hanno iniziato ad affrontare queste sfide dotando di memoria le politiche basate su modelli fondazionali e introducendo architetture gerarchiche che separano la pianificazione ad alto livello dall’esecuzione a basso livello. Organizziamo il VLM ad alto livello come agente robotico mediante una struttura di supporto modificabile, per mantenere il contesto del compito e migliorare la pianificazione grazie all’esperienza acquisita durante l’esecuzione. Realizziamo questo approccio in SERA (Self-Evolving Robotic Agent), con un esecutore VLA invariato che fornisce il controllo a basso livello. La struttura di supporto mantiene e aggiorna il contesto del compito usando le osservazioni e il feedback sull’esecuzione per orientare la pianificazione successiva. L’autoevoluzione usa esecuzioni nell’ambiente per proporre e valutare modifiche alla struttura di supporto; la configurazione selezionata viene fissata prima dei test su casi tenuti da parte. Su RoboMME, SERA raggiunge un tasso di successo complessivo del 51,38% con la selezione autonoma, contro il 44,38% senza autoevoluzione. La nostra esplorazione suggerisce che la pianificazione agentica sia una direzione promettente per la manipolazione robotica dipendente dalle interazioni passate.