AgentSafeEvo: coevoluzione avversaria per la sicurezza degli agenti LLM

Abstract degli autori

Gli agenti basati su modelli linguistici di grandi dimensioni (LLM) svolgono compiti complessi attraverso interazioni in più turni con strumenti esterni. Tuttavia, contenuti dannosi incorporati nelle richieste degli utenti, nelle descrizioni degli strumenti o nelle osservazioni dell’ambiente possono manipolarne le decisioni e indurli a compiere azioni non sicure. La coevoluzione avversaria si è affermata come approccio efficace per rafforzare la sicurezza degli LLM, ma i lavori esistenti si concentrano soprattutto sulla sicurezza a livello linguistico o sulla prompt injection indiretta nei compiti sul web. In questo articolo presentiamo AgentSafeEvo, un framework di apprendimento per rinforzo coevolutivo per la sicurezza degli agenti, basato su un gioco tra attaccante e difensore che comprende compiti e tipi di attacco diversi. L’attaccante impara a costruire compiti avversari per gli agenti che mettono in luce le debolezze del difensore nell’uso degli strumenti, mentre il difensore impara a svolgere i compiti in sicurezza nonostante questi attacchi. Introduciamo inoltre una ponderazione dei compiti basata sulla loro apprendibilità, che usa la variabilità della ricompensa del difensore all’interno di ciascun compito per regolare il contributo di ogni compito agli aggiornamenti dell’attaccante e del difensore. Ampi esperimenti su benchmark di sicurezza degli agenti e di capacità generali dimostrano che il nostro metodo migliora la robustezza agli attacchi avversari, mantenendo le capacità generali degli agenti.