VLA-$Δ$: apprendere le transizioni di stato fisico per i modelli di visione, linguaggio e azione

Abstract degli autori

I modelli di visione, linguaggio e azione (VLA) trasferiscono al controllo robotico le conoscenze semantiche acquisite attraverso il preaddestramento su dati visivi e linguistici, ottenendo ottime prestazioni in diversi benchmark. Tuttavia, la maggior parte dei modelli VLA associa direttamente le osservazioni alle azioni mostrate nelle dimostrazioni, senza una supervisione esplicita dei cambiamenti intermedi dello stato fisico. Questo li rende inclini all’overfitting delle corrispondenze tra osservazioni e azioni. Alcuni metodi introducono passaggi intermedi di ragionamento o la predizione di stati futuri in spazi linguistici, visivi o latenti per guidare la generazione delle azioni, ma non supervisionano esplicitamente la transizione di stato fisico in sé. Proponiamo quindi VLA-$Δ$, un framework generale che usa i cambiamenti fisici tra lo stato attuale e gli stati futuri come obiettivi espliciti di apprendimento. A questo scopo, realizziamo un dataset di preaddestramento su larga scala e ricaviamo annotazioni delle transizioni di stato fisico che coprono gli aspetti semantici rilevanti per il compito e i cambiamenti visivi legati al movimento, offrendo una supervisione più diretta per la generazione di azioni continue. Durante l’inferenza, il modello genera le azioni direttamente dalle osservazioni attuali, senza costi aggiuntivi in fase di inferenza. VLA-$Δ$ ottiene prestazioni competitive rispetto allo stato dell’arte su LIBERO e RoboTwin e supera $π_{0.5}$ negli esperimenti con robot reali. Il nostro codice è disponibile all’indirizzo https://github.com/ZJU-OmniAI/VLA-Delta