TacForcing: generazione di azioni in streaming con feedback tattile durante l’esecuzione

Abstract degli autori

La manipolazione con molti contatti richiede di adattarsi a stati di contatto che possono cambiare notevolmente nell’arco di un’azione. Tuttavia, i modelli visione-linguaggio-azione basati su blocchi di azioni prevedono blocchi completi a partire da osservazioni raccolte prima dell’esecuzione: durante l’esecuzione, quindi, il condizionamento tattile si basa su dati ormai superati. Gli approcci esistenti che reagiscono agli stimoli tattili si affidano in genere a controllori separati ad alta frequenza, aumentando la complessità sia dell’architettura sia dell’addestramento. In questo articolo presentiamo TacForcing, un framework per la generazione di azioni in streaming che integra efficacemente il feedback tattile acquisito durante l’esecuzione. Anziché impiegare un controllore reattivo separato, TacForcing sostituisce l’esperto delle azioni standard con un esperto delle azioni in streaming, che genera azioni condizionate dalle osservazioni tattili raccolte man mano durante l’esecuzione. TacForcing introduce inoltre Execution-Aware Tactile Attention (EATA), che limita il condizionamento tattile alle azioni prossime all’esecuzione, riducendo così lo sfasamento temporale tra l’acquisizione dei dati tattili e l’esecuzione delle azioni. Su sei task UniVTAC simulati e tre task di manipolazione con molti contatti nel mondo reale, TacForcing raggiunge tassi medi di successo rispettivamente del 65% e del 69%, superando solidi sistemi di riferimento in entrambi i contesti.