Quanto i gradienti aumentano la fuga di testo nei modelli linguistici suddivisi, misurata per token e per documento

Abstract degli autori

Lo split learning permette a un client di addestrare un modello linguistico su un server senza inviargli il proprio testo. Il client esegue i primi strati e invia al server soltanto il loro output: un vettore di numeri per ogni token. Durante l’addestramento, il server restituisce i gradienti. Mostriamo che un osservatore nel punto di separazione può ricostruire la maggior parte del testo del client a partire da questo scambio di dati e misuriamo quanto contribuiscano i gradienti. Su GPT-2, un attaccante che dispone soltanto dei pesi degli strati del client resi pubblici recupera il 94,20% dei token dalle sole attivazioni e il 97,38% quando può vedere anche i gradienti: 3,17 punti percentuali in più, con un intervallo al 95% di [2,72, 3,64]. Se si misura il recupero per documento, la differenza è molto più ampia. L’attaccante ricostruisce esattamente il 13,71% dei documenti di 32 token senza i gradienti e il 37,77% con i gradienti, perché un documento conta solo se ogni token è corretto. Anche il modo in cui misuriamo il recupero cambia la valutazione dell’efficacia di una difesa. Secret mixup, che combina ogni vettore inviato con un’esca, impedisce all’attaccante di ricostruire esattamente quasi tutti i documenti, ma gli consente comunque di recuperare l’83-91% dei token. In un secondo esperimento su GPT-2 e Qwen3-0.6B, in cui il server addestra soltanto una sequenza di strati consecutivi, lo strato da cui inizia la sequenza influisce sia sulla qualità del modello sia sulla fuga di testo, anche quando la lunghezza della sequenza resta fissa. Raccomandiamo di riportare la fuga di testo sia per token sia per documento e di considerare ciò che un modello suddiviso trasmette sensibile quanto il testo stesso.