Echo: denoising congiunto delle azioni e dei segnali di stato del compito per i modelli visione-linguaggio-azione

Abstract degli autori

Riconoscere quando un compito è stato completato o è fallito consente ai robot di fermarsi in caso di successo e di avviare un recupero o una nuova pianificazione dopo un fallimento. I metodi esistenti aggiungono alle politiche visione-linguaggio-azione (VLA) la previsione dei segnali di stato del compito per supportare queste decisioni durante l’esecuzione. Tuttavia, apprendere e integrare tali segnali può richiedere una supervisione dettagliata, modelli esterni di monitoraggio o architetture complesse. Inoltre, resta poco esplorata la possibilità di usare i segnali di stato del compito per guidare direttamente la generazione delle azioni. Presentiamo Echo, un framework che combina l’apprendimento dei segnali di stato del compito senza annotazioni dell’avanzamento a livello di fotogramma con una soluzione compatta per prevedere lo stato e generare le azioni all’interno di un unico modello VLA. Nello specifico, Echo rappresenta lo stato del compito mediante segnali di arresto e di fallimento, aggiunti come due dimensioni di ciascun segmento di azioni e sottoposti a denoising insieme alle azioni del robot. La loro combinazione distingue tra esecuzione in corso, completamento con successo e fallimento. Per apprendere questi segnali senza annotazioni dettagliate dell’avanzamento, Echo costruisce traiettorie di successo, di fallimento e di recupero con proprietà di supervisione complementari. Per consentire ai segnali di stato di guidare la generazione delle azioni, Echo regola le interazioni tra segnali e azioni e sottopone i segnali a denoising più rapidamente delle azioni. Ciò permette alle fasi successive del denoising delle azioni di basarsi su stime dello stato più precise, mantenendo al tempo stesso accurata la previsione dei segnali. Numerosi esperimenti di manipolazione nel mondo reale mostrano che Echo prevede con accuratezza lo stato del compito e migliora sistematicamente le prestazioni della politica.