MambaAct: esperti di azione Mamba efficienti per modelli visione-linguaggio-azione basati sul flow matching

Abstract degli autori

I modelli visione-linguaggio-azione (VLA) hanno mostrato un notevole potenziale per la manipolazione robotica generalista, ma il loro costo di inferenza resta un importante ostacolo al controllo in tempo reale. Il limite è particolarmente marcato nei modelli VLA basati sul flow matching, come $π_{0.5}$, nei quali l’esperto di azione viene valutato ripetutamente durante la rimozione iterativa del rumore. Presentiamo MambaAct, un efficiente esperto di azione Mamba per le politiche VLA basate sul flow matching. MambaAct mantiene il codificatore preaddestrato del prefisso visione-linguaggio di $π_{0.5}$, sostituendo però il suo esperto di azione basato su transformer con un esperto di azione compatto basato su Mamba. Al suo interno, Mamba funge da mixer delle azioni e modella le dipendenze lungo la sequenza di azioni continue con rumore. Per mantenere il condizionamento visione-linguaggio senza ripetere la cross-attention a livello di token, MambaAct usa un leggero Context Compressor che trasforma i token del prefisso del modello visione-linguaggio (VLM) in un segnale di condizionamento compatto, usato per applicare il gating e modulare ciascun blocco di azione Mamba. MambaAct usa un esperto di azione $10\times$ più piccolo e riduce la latenza della rimozione del rumore nel flow matching del $64.8\%$ su LIBERO e del $58.8\%$ nell’impiego nel mondo reale. Al tempo stesso, aumenta il tasso medio di successo su LIBERO di $1.08$ punti percentuali con tre seed indipendenti di fine-tuning e mantiene i miglioramenti su LIBERO-Plus e nei benchmark nel mondo reale. Il nostro codice e i pesi del modello sono disponibili pubblicamente all’indirizzo https://github.com/giakhuyendihoc/MambaAct.