Inversione temporale dei gradienti per la ricostruzione di traiettorie private nell’apprendimento per rinforzo incarnato

Abstract degli autori

L’apprendimento distribuito negli agenti di apprendimento per rinforzo incarnato offre un certo grado di tutela della privacy: i dati grezzi dei sensori restano sul dispositivo e al server vengono trasmessi soltanto i gradienti della policy. La struttura temporale, tuttavia, può amplificare questa fuga di informazioni rispetto agli attacchi su singoli fotogrammi. Presentiamo Temporal Reconstruction Attack on Consecutive Encodings (TRACE), un attacco ammortizzato di inversione temporale dei gradienti che ricostruisce autoregressivamente la sequenza di traiettorie private di osservazioni e azioni a partire dai gradienti dell’apprendimento della policy relativi a ciascun passo. L’attacco sfrutta due segnali strutturali ignorati dai precedenti metodi basati su singoli fotogrammi: (i) la correlazione nel tempo tra gradienti successivi degli agenti incarnati, che formalizziamo mediante un limite sull’informazione mutua condizionata, e (ii) il recupero delle azioni in forma chiusa dalla struttura dei gradienti della testa della policy, che dimostriamo essere esatto quando la regolarizzazione entropica standard è sufficientemente piccola. Su scene di ambienti incarnati tenute da parte, TRACE raggiunge un PSNR di $18.8$ dB, con un recupero delle azioni quasi perfetto in $3$-$4.5$ ms per fotogramma ricostruito. Supera il metodo di riferimento basato sull’apprendimento in tutte le metriche di ricostruzione e gli attacchi basati sull’ottimizzazione, pur essendo più veloce di diversi ordini di grandezza. Ulteriori valutazioni mostrano che TRACE è applicabile anche ad architetture bersaglio ricorrenti, residuali e basate su transformer compatti, a input multimodali e a spazi di azioni discrete più ampi. Gli esperimenti sulle difese suggeriscono che proteggere i flussi temporali di gradienti potrebbe richiedere meccanismi di tutela della privacy che tengano conto delle sequenze.