Dire la stessa cosa, agire diversamente: diagnosticare e orientare la divergenza tra testo e azione nei VLA di ragionamento

Abstract degli autori

I modelli di visione-linguaggio-azione (VLA) dotati di capacità di ragionamento associano il controllo fisico a motivazioni in linguaggio naturale che i supervisori possono leggere per monitorare la sicurezza dei sistemi embodied. Gli attacchi precedenti al ragionamento dei VLA alterano la motivazione stessa e lasciano tracce visibili nel testo. Mostriamo che le perturbazioni visive possono invece modificare l’azione fisica mantenendo la motivazione generata identica parola per parola. All’interfaccia condivisa tra testo e azione di Alpamayo, per la guida, e InstructVLA, per la manipolazione, la nostra diagnostica dello spazio delle azioni neutro rispetto al testo (TNAS) mostra che la direzione localmente più sensibile all’azione è quasi ortogonale ai gradienti attivi della loss testuale, con una sovrapposizione delle norme dell’1,87% e del 5,28%. A parità di norma delle perturbazioni degli stati nascosti nei due modelli, gli interventi lungo questo residuo neutro rispetto al testo modificano le azioni da 4,64 a 47,8 volte più delle perturbazioni lungo il gradiente testuale, mentre queste ultime provocano una deriva del testo da 21,2 a 277 volte maggiore. Orientando le perturbazioni visive lungo questa direzione si ottiene lo stesso disaccoppiamento dall’immagine. Nei 154 scenari di guida annotati con ostacoli di Alpamayo, gli attacchi guidati da TNAS provocano una nuova collisione mantenendo una motivazione identica parola per parola nel 52,6% degli scenari con perturbazioni sull’intera immagine e nel 35,1% con una patch localizzata nell’inquadratura della telecamera anteriore, contro il 4,55% degli attacchi all’azione non guidati. Rispetto a una baseline che preserva il testo, la guida TNAS aumenta la conservazione esatta della motivazione dall’83,0% all’89,5% e riduce del 68,4% la deriva del testo con teacher forcing, a un tasso di collisione comparabile. In InstructVLA, la guida TNAS riduce la deriva del testo del 40,5% e preserva la risposta esatta nell’85,0% degli esempi, insieme a uno spostamento di 1,73 unità nel blocco di azioni. Una motivazione invariata non può quindi certificare che un’azione sia sicura; i sistemi di monitoraggio dei VLA di ragionamento devono perciò verificare direttamente il canale dell’azione prevista.