TacitVLA: modelli visione-linguaggio-azione capaci di ragionare senza la latenza del ragionamento

Abstract degli autori

Il ragionamento testuale prima dell’azione ha migliorato i modelli visione-linguaggio-azione (VLA), ma al prezzo di una maggiore latenza: ogni azione condizionata dal testo del ragionamento deve attendere la decodifica autoregressiva. Mostriamo che le azioni possono beneficiare del ragionamento senza attendere né utilizzare quello generato, perché la supervisione sul ragionamento migliora già la rappresentazione del backbone. Presentiamo TacitVLA, un VLA capace di ragionare il cui componente specializzato nelle azioni non utilizza mai il ragionamento che genera per la chiamata corrente. Nei compiti di lunga durata in cui il testo del ragionamento funge anche da memoria episodica, può generare ogni voce durante l’esecuzione dell’azione anziché prima di agire. Lo valutiamo in uno studio controllato su quattro benchmark che comprendono manipolazione e guida autonoma, con compiti che richiedono o meno memoria: RoboMME, RMBench, LIBERO e PhysicalAI-AV. In tutti e quattro, TacitVLA eguaglia le prestazioni della versione corrispondente che usa esplicitamente il ragionamento, con una latenza fino a 3,4 volte inferiore; eguaglia inoltre la latenza della stessa architettura addestrata senza ragionamento, con un tasso di successo fino al 17,1% più alto. In termini assoluti, supera i migliori risultati pubblicati in precedenza nella suite RoboMME Counting (82,7% contro 66,8%) e in RMBench (77,5% contro 56,5%), e raggiunge il 72,9% su LIBERO-Plus e un punteggio di scena del 52,5% nella partizione pubblica della sfida di guida a ciclo chiuso PhysicalAI-AV. Pagina del progetto: https://tacitvla.github.io.