SEAD: una prospettiva basata sullo stato per l’attacco e la difesa negli agenti che usano strumenti

Abstract degli autori

Gli agenti basati su modelli linguistici usano sempre più spesso strumenti per agire su sistemi esterni. Le azioni precedenti possono modificare file, permessi, record di database o altri elementi dello stato, rendendo dannosa un’azione successiva apparentemente ordinaria. Eppure l’interazione visibile potrebbe non rivelare lo stato sottostante necessario per valutare quell’azione. In SEAD formuliamo attacco e difesa come controllo dello stato in condizioni di osservabilità parziale, ricavandone i requisiti di progettazione da questo processo di esecuzione condiviso. Poiché gli attaccanti forniscono istruzioni mentre il modello bersaglio sceglie le azioni concrete, DART scompone gli obiettivi dannosi in passaggi plausibili nel contesto locale e usa il feedback dell’effettiva esecuzione degli strumenti per guidare la ricerca delle traiettorie. Il difensore deve decidere prima dell’esecuzione, disponendo di informazioni incomplete sullo stato. SAGE può quindi esaminare lo stato pertinente tramite interrogazioni di sola lettura prima di consentire o bloccare ogni azione, comprese quelle proposte dopo un blocco. Costruiamo un dataset verificabile nell’ambiente che integra stati iniziali controllati, ambienti di esecuzione degli strumenti riproducibili e verifiche eseguibili specifiche per ciascun compito. Su quattro modelli bersaglio, DART aumenta il tasso di successo semantico degli attacchi di 18,8--35,9 punti percentuali rispetto al metodo di riferimento concorrente, con miglioramenti costanti anche nella verifica eseguibile. Sulle traiettorie registrate, SAGE preserva il 95,79% delle traiettorie benigne e intercetta il 92,73% dei percorsi dannosi entro il punto in cui il danno diventa possibile. Nella valutazione online di attacco e difesa, riduce dal 48,0% al 4,0% il tasso di successo degli attacchi eseguibili di DART. SAGE rimane efficace con quattro metodi di attacco e generalizza ad ambienti esterni al dominio. Il nostro codice e i nostri dati sono disponibili all’indirizzo https://github.com/EverywhereSafety/SEAD.