Deriva delle autorizzazioni negli agenti basati su LLM: valutare il rispetto dei confini nell’uso di strumenti in più passaggi

Abstract degli autori

Gli agenti basati su LLM possono oltrepassare i confini delle proprie autorizzazioni mentre perseguono gli obiettivi degli utenti, anche in assenza di un avversario. Formalizziamo questo fenomeno come deriva delle autorizzazioni rispetto a dati, strumenti, ambito e tempo, e presentiamo l’Authorization Drift Benchmark (ADB): 648 campioni distribuiti in sette ambiti, ciascuno dei quali abbina un percorso conforme sufficiente a una scorciatoia allettante ma non autorizzata. Per garantire la presenza di compiti eseguibili, scorciatoie allettanti e percorsi conformi praticabili, il metodo Staged Execution-Reflective Synthesis (SERS) basa la convalida del benchmark su esecuzioni reali degli agenti, anziché sull’autocritica degli LLM. In 13 LLM e tre framework (25.207 traiettorie), a maggiori capacità corrisponde una deriva più marcata; i modelli con capacità di frontiera mostrano tassi di deriva compresi tra 0,43 e 0,61. Eppure, per l’86,18% dei compiti è stata osservata una traiettoria che raggiunge il successo senza deriva, a dimostrazione del fatto che la deriva è evitabile. La deriva è persistente ed è dominata dalla raccolta eccessiva di dati nelle prime fasi; gli apparenti miglioramenti ottenuti con impalcature agentiche coincidono con un crollo delle prestazioni nei completamenti senza deriva. Per comprendere i potenziali danni per le persone e la società, associamo i punti in cui si verifica la deriva a disposizioni giuridiche in quattro giurisdizioni, collegando gli sconfinamenti a problemi di privacy e sicurezza delle informazioni. La minimizzazione dei dati è la disposizione più frequentemente implicata e il 93,5% delle esecuzioni con deriva ricondotte a norme giuridiche riguarda più giurisdizioni, rendendo più interpretabili le potenziali conseguenze della deriva delle autorizzazioni.