LLM-Attack Suite: un framework unificato di red teaming per valutare la privacy dei sistemi LLM suddivisi e distribuiti

Abstract degli autori

I modelli linguistici suddivisi mantengono il testo di input sul client, ma inviano rappresentazioni intermedie a un server. Gli attacchi possono ricostruire il testo a partire da questi messaggi. Confrontare le valutazioni della privacy è difficile quando gli attaccanti vedono messaggi diversi, conoscono pesi diversi del modello o usano dataset e misure di ricostruzione differenti. Presentiamo LLM-Attack Suite, un framework che registra queste scelte e consente ai ricercatori di verificare, confrontare e ampliare una valutazione. Gli attacchi compatibili riutilizzano i messaggi registrati e le loro previsioni vengono salvate per una valutazione indipendente. Il criterio di valutazione richiede un riferimento associato privo di difese prima che una difesa possa superare la valutazione. I rapporti indicano anche gli attacchi non ancora testati. In un esperimento controllato su GPT-2, l’aggiunta dei gradienti restituiti durante l’addestramento ha aumentato il recupero dei token dal 94,20% al 97,38% e la ricostruzione esatta dei documenti dal 13,71% al 37,77%. L’intervallo al 95% per l’aumento nel recupero dei token era superiore alla soglia di due punti percentuali fissata prima del test. Questo esperimento è condiviso con uno studio complementare; qui serve a verificare come la valutazione risponda a un cambiamento nell’accesso dell’attaccante. Ulteriori studi misurano l’effetto della scelta del corpus e delle difese basate sulla compressione sulla ricostruzione, confrontano un attacco pubblicato e adattato con la sua implementazione di riferimento e mettono alla prova il codice di misurazione. Il framework riporta le verifiche dell’implementazione separatamente dall’efficacia misurata degli attacchi. Ogni affermazione sulla privacy dovrebbe specificare l’attaccante, il dataset e il criterio di valutazione, riportare i controlli effettuati e indicare gli attacchi non testati.