La memoria degli agenti è una superficie per il riciclaggio endogeno delle autorizzazioni

Abstract degli autori

Gli agenti basati su LLM che operano a lungo si affidano alla memoria persistente per conservare le informazioni di stato tra un’interazione e l’altra, compresi permessi, restrizioni e revoche. Quando la memoria rappresenta in modo errato l’evoluzione delle autorizzazioni, i registri dell’agente stesso possono conferire un’autorità che la cronologia sottostante non ha mai concesso, producendo comportamenti non allineati anche in assenza di attacchi esterni. Chiamiamo questo problema «riciclaggio endogeno delle autorizzazioni»: permessi fittizi scritti nella memoria portano ad azioni non autorizzate, mentre se ne perde la provenienza. Presentiamo quindi EAL-Bench, che misura quanto accuratamente la memoria persistente conservi l’evoluzione delle autorizzazioni e se gli errori si propaghino fino a provocare azioni non autorizzate. Valutiamo cinque LLM incaricati di scrivere nella memoria e due nel ruolo di esecutori, nei settori degli acquisti, della sicurezza informatica e della finanza. Rileviamo che, con aggiornamenti incrementali della memoria, gli LLM che vi scrivono creano un’autorità fittizia per una quota che arriva al 50,2% delle richieste non autorizzate; una volta presente tale autorità, gli esecutori agiscono sulla sua base nel 98,6% delle prove. Due misure di salvaguardia — richiedere che i permessi memorizzati siano sostenuti da eventi di origine validi e tenere traccia delle modifiche ai permessi mediante un event sourcing con limiti definiti — riducono sensibilmente il riciclaggio, ma entrambe respingono anche più azioni legittime, mettendo in luce un compromesso tra sicurezza e utilità. La memoria persistente, quindi, non è soltanto una componente che incide sulle prestazioni, ma anche parte della politica di autorizzazione effettiva di un agente basato su LLM.