AdvSim2Real: addestrare agenti web contro l’iniezione di prompt adattiva in un modello del mondo web

Abstract degli autori

Gli agenti web soddisfano le richieste degli utenti leggendo pagine scritte da terzi e interagendo con esse. Un’istruzione inserita in una pagina può quindi distogliere l’agente dall’obiettivo dell’utente. L’agente non può semplicemente ignorare la pagina, perché contiene anche i valori e i controlli necessari per svolgere il compito. Le difese attuali sottopongono l’agente a fine-tuning su iniezioni definite prima dell’addestramento, ma gli attaccanti che si adattano al modello addestrato riescono ad aggirarle. L’addestramento avversario permette all’attaccante di adattarsi, ma mantiene fissi i compiti: una volta che l’agente riesce a svolgerne uno, quel compito smette di insegnargli qualcosa. Presentiamo AdvSim2Real, che fa evolvere insieme un curriculum di compiti, un avversario che inserisce iniezioni e l’agente all’interno di un modello del mondo web congelato. Il curriculum riceve una ricompensa per i compiti che l’agente porta a termine circa la metà delle volte; l’avversario viene ricompensato solo quando un’iniezione trasforma un esito giudicato positivo in un fallimento. L’addestramento nel simulatore rende un agente 4B sia più capace sia più robusto: il suo tasso di completamento aumenta con e senza attacchi, si mantiene anche contro un avversario basato su un modello di frontiera mai incontrato durante l’addestramento e il miglioramento delle sue capacità si trasferisce a un browser reale. Su 150 compiti web, AdvSim2Real aumenta il tasso di completamento contro questo avversario mai incontrato del 33,6\% rispetto all’agente di base.