Vision-language-action o world-action? Solo modelli di azione

Abstract degli autori

Le comunità dei modelli vision-language-action (VLA) e world-action model (WAM) discutono se le policy di controllo debbano ereditare conoscenze preaddestrate dai modelli visione-linguaggio o dai generatori visivi. Il dibattito, però, riunisce tre scelte distinte: l’inizializzazione del backbone, l’obiettivo applicato alle osservazioni future e la decisione di mantenere, durante l’inferenza, i componenti necessari a calcolare la relativa funzione di perdita. Una differenza tra un VLA e un WAM, quindi, non può essere attribuita semplicemente a una sola di queste scelte. Mostriamo che separarle porta a un quadro comune per entrambe le famiglie, che chiamiamo Just Action Model (JAM): un backbone visivo preaddestrato con un modulo esperto per le azioni, addestrato con una funzione di perdita sulle azioni e una per la previsione del futuro. Quest’ultima addestra le rappresentazioni dell’osservazione corrente a predire le codifiche congelate del futuro registrato, attraverso una testa di predizione rimossa dopo l’addestramento. Non è quindi coinvolta alcuna generazione visiva, né nell’addestramento né nell’inferenza, e il backbone può essere scelto liberamente. Confrontiamo dapprima gli obiettivi mantenendo fisse le architetture delle policy, poi valutiamo questo metodo di previsione del futuro su diverse famiglie di backbone. Le policy JAM così ottenute superano le corrispondenti versioni FastWAM e ImageWAM su LIBERO e LIBERO-Plus e raggiungono tassi di successo analoghi o leggermente superiori su RoboTwin. Rispetto a FastWAM, JAM porta i tassi di successo rispettivamente dal 97,0%/55,3%/91,2% al 98,2%/64,5%/91,4%. Quando i target per la previsione del futuro sono memorizzati in cache, JAM riduce del 73% rispetto a FastWAM i FLOPs stimati dell’addestramento online per campione e per aggiornamento. I nostri risultati mostrano che la supervisione sulle osservazioni future migliora il controllo senza generazione visiva né componenti aggiuntivi durante l’inferenza, e che si possono ottenere prestazioni elevate nella previsione del futuro sia con backbone inizializzati a partire da generatori sia con backbone visione-linguaggio. Pagina del progetto: https://y0uroy.github.io/JAM