Tactile-JEPA: apprendimento auto-supervisionato di rappresentazioni che tengono conto della topologia per sensori tattili distribuiti

Abstract degli autori

Il rilevamento tattile è una modalità essenziale per i robot che eseguono manipolazioni complesse, ricche di contatti, soprattutto in presenza di occlusione visiva. Mentre gli encoder di immagini preaddestrati sono ormai standard nei sistemi di apprendimento robotico, gli encoder tattili vengono ancora comunemente addestrati da zero su segnali grezzi e rumorosi, il che potrebbe limitarne la capacità espressiva. Gli approcci esistenti all’apprendimento auto-supervisionato si concentrano prevalentemente sui sensori tattili basati sulla visione, lasciando in gran parte inesplorate le pelli elettroniche distribuite. Questi sensori, però, hanno una caratteristica distintiva: i loro elementi sensibili sono sparsi e disposti in modo irregolare sulla superficie che ricoprono, rendendo poco efficace il riutilizzo diretto dei metodi di apprendimento auto-supervisionato sviluppati per la visione. Presentiamo Tactile-JEPA, un metodo efficiente di preaddestramento auto-supervisionato che sfrutta la disposizione spaziale dei sensori tattili per apprendere rappresentazioni che tengono conto della topologia. In particolare, viene addestrato a prevedere le rappresentazioni degli elementi sensibili mascherati a partire da quelli non mascherati, usando il grafo delle connessioni tra i sensori per guidare il mascheramento spaziale. La nostra analisi mostra che rappresentazioni tattili efficaci devono cogliere sia i dettagli locali del contatto sia lo stato globale della superficie tattile: un risultato che otteniamo con un mascheramento a due scale. Su tre diversi dataset che comprendono sensori magnetici e piezoresistivi, robot con diverse configurazioni fisiche e configurazioni con sensori singoli o in coppia, Tactile-JEPA riduce l’errore nella stima della forza del 6,3% e quello nell’orientamento in mano del 20,8% rispetto al precedente stato dell’arte, con miglioramenti costanti anche in altre applicazioni a valle, tra cui l’apprendimento di policy. Nel complesso, i nostri risultati dimostrano che i benefici del rilevamento tattile dipendono in modo decisivo dalla qualità del preaddestramento degli encoder, un problema che Tactile-JEPA affronta direttamente. Il codice è disponibile all’indirizzo https://github.com/E-Kovtun/tactile.