Pianificazione sparsa nei modelli visivi del mondo tramite gradienti del costo

Abstract degli autori

I modelli del mondo basati su token consentono una pianificazione dettagliata nello spazio latente, ma elaborare ripetutamente grandi griglie spaziali di token rende costosa la ricerca delle azioni. Presentiamo COSTGRAD, un selettore condizionato dall’obiettivo che non richiede addestramento e ordina i token spaziali in base alla norma del gradiente del costo di pianificazione rispetto a ciascun token in input. Ricavando l’importanza dei token dall’obiettivo di controllo a valle, COSTGRAD individua quelli rilevanti per la pianificazione, anziché soltanto per la predizione. Con predittori condizionati tramite AdaLN e una sparsità del $50\%$, COSTGRAD eguaglia o supera la pianificazione con tutti i token in tre benchmark di controllo continuo su quattro, con un’accelerazione misurata di $2.6\times$ nel tempo effettivo per ogni passo di pianificazione nell’ambiente. Combinando la sparsità dei token con una ricerca CEM ridotta, l’accelerazione totale sale a $\sim 5\times$, pur continuando a superare la baseline con tutti i token. Individuiamo inoltre una modalità di fallimento che dipende dall’architettura: in un confronto a parità di condizioni tra AdaLN e concat, concat mantiene prestazioni comparabili con tutti i token, ma COSTGRAD da solo perde il suo vantaggio rispetto alla selezione casuale. Questa differenza è associata alla deriva del percorso delle azioni: con AdaLN, rimuovere i token selezionati in base al gradiente produce meno deriva rispetto alla rimozione casuale, mentre con concat ne produce di più. Questi risultati evidenziano la compatibilità tra selettore e architettura come criterio di progettazione per la pianificazione sparsa nei modelli del mondo. Pagina del progetto e demo: https://ycxuyingchen.github.io/costgrad/