CausGround: ancoraggio causale delle interazioni per la pianificazione incarnata adattiva

Abstract degli autori

I modelli linguistici multimodali di grandi dimensioni (MLLM) mostrano promettenti capacità di ragionamento, ma un’interazione fisica affidabile richiede una pianificazione che tenga conto di quando le azioni sono eseguibili e di come modificano il mondo. Queste precondizioni e questi effetti dipendono dall’ambiente e spesso non sono rilevati dagli MLLM, rendendo difficile l’adattamento. Gli approcci esistenti, tuttavia, richiedono un costoso addestramento specifico per ogni ambiente oppure si affidano a esperienze di interazione non strutturate, difficili da riutilizzare. Presentiamo quindi CausGround, un framework non parametrico di ancoraggio causale delle interazioni, che distilla l’esperienza di interazione in conoscenza causale riutilizzabile e incentrata sulle azioni. CausGround identifica le precondizioni e gli effetti delle azioni e li organizza in una rappresentazione fattorizzata dello stato del mondo, che comprende gli attributi degli oggetti e le relazioni tra di essi. Durante la pianificazione, le dipendenze causali rilevanti per il compito vengono ancorate alle osservazioni correnti, per supportare il ragionamento a ritroso sulle precondizioni e quello in avanti sugli effetti, ai fini della selezione delle azioni e della pianificazione in più fasi. Valutiamo CausGround sulla pianificazione simulata di alto livello, sul ragionamento sulle interazioni e sulla manipolazione robotica nel mondo reale. Su versioni adattate dei benchmark VirtualHome e RoboCasa, CausGround migliora la pianificazione di alto livello basata sulla visione con diversi MLLM di base, aumentando il tasso medio di successo nei compiti dal 24,9% al 53,3% su VirtualHome e il tasso di successo della pianificazione a ciclo chiuso dal 43,0% al 57,0% su RoboCasa. Su SWITCH, l’accuratezza media del ragionamento sulle interazioni aumenta dal 25,8% al 31,9%, indicando un miglioramento nella selezione delle azioni, nel recupero e nella verifica. Inoltre, gli esperimenti nel mondo reale mostrano che CausGround ragiona a ritroso a partire dagli obiettivi interpretati dagli MLLM per ricavare sequenze eseguibili di azioni di alto livello per la manipolazione sequenziale. Questi risultati dimostrano che precondizioni ed effetti delle azioni riutilizzabili supportano la pianificazione incarnata su orizzonti lunghi in diversi ambienti, senza aggiornare i parametri.