X-Planner: pianificazione dei compiti strutturata per eventi per l’intelligenza incarnata

Abstract degli autori

La pianificazione dei compiti collega le istruzioni di alto livello al comportamento eseguibile nella manipolazione su orizzonti temporali lunghi, eppure i moderni sistemi Vision-Language-Action (VLA) spesso lasciano implicita questa struttura intermedia. Anche i pianificatori basati sul chain-of-thought (CoT) tendono ad affidarsi ad annotazioni grossolane a livello di compito oppure a serializzare lunghe tracce di ragionamento, un token alla volta. Presentiamo X-Planner, un modulo di pianificazione a monte che affronta sia la supervisione sia la rappresentazione del ragionamento incarnato. I nostri dati di pianificazione combinano Ego, UMI e teleoperazione secondo una granularità gerarchica, con una profondità di annotazione che dipende dalla fonte. Le annotazioni relative al momento della presa in carico e gli errori progettati da esseri umani forniscono supervisione per il riconoscimento degli errori in corso. Sul versante del modello, un backbone VLM condiviso offre due forme di piano strutturate per eventi: un’interfaccia discreta che produce stati degli eventi interpretabili e un’interfaccia latente che trasmette stati CoT continui attraverso livelli Transformer sfalsati, tramite Staircase Decoding. Un obiettivo di ricostruzione da latente a testo con parametri congelati fornisce un ancoraggio semantico alla rappresentazione latente. Nella valutazione offline della pianificazione in due passaggi, X-Planner si colloca al secondo posto tra quattro modelli valutati sia per BERTScore-F1 sia per il punteggio complessivo Overall basato su un giudice. Negli esperimenti con robot reali, superando rispettivamente le baseline valutate. Questi risultati caratterizzano la qualità del testo di pianificazione e l’esecuzione a valle.