CondenseVLA: condensazione apprendibile della cronologia per VLA multiframe efficienti

Abstract degli autori

La manipolazione robotica dipende spesso da indizi di breve durata, come contatti fugaci, occlusioni temporanee e stati intermedi degli oggetti, che risultano ambigui in un singolo fotogramma e possono essere interpretati solo integrando le osservazioni nel tempo. Tuttavia, incorporare informazioni storiche limitandosi ad ampliare la finestra temporale è costoso sul piano computazionale e spesso porta benefici limitati, a causa della notevole ridondanza e di un campionamento delle osservazioni rigido e non legato al compito. Proponiamo CondenseVLA, una policy VLA multiframe dotata di un modulo apprendibile di condensazione della cronologia sul lato del decoder, che usa il contesto visivo recente per la decodifica delle azioni. A partire da una sequenza di caratteristiche per fotogramma del backbone VLM, memorizzate nella cache, CondenseVLA condensa la cronologia delle osservazioni in un insieme fisso di token slot mediante query apprendibili e cross-attention multi-testa. Una semplice regolarizzazione ausiliaria penalizza la sovrapposizione tra le mappe di attenzione degli slot e riduce la correlazione tra le rappresentazioni degli slot, favorendo un’attenzione complementare e riducendo la ridondanza. Nei compiti valutati, CondenseVLA porta il tasso di successo su Simpler-WidowX dal 58,7% al 69,8% (+11,1 punti percentuali), ottiene il 97,2% su LIBERO e raggiunge il 52,8% nei compiti del mondo reale. Nei compiti di RMBench che richiedono memoria ottiene un tasso di successo del 21,6%. Questi risultati avvalorano la condensazione selettiva di informazioni visive recenti entro una finestra limitata per la decodifica delle azioni, mentre i compiti più difficili che richiedono più osservazioni mettono in luce i limiti di una finestra temporale finita. Pagina del progetto: https://github.com/FeiyangHong/CondenseVLA