Sensibilità alle scorciatoie nelle valutazioni della sicurezza degli agenti

Abstract degli autori

Gli agenti di IA compiono azioni tramite strumenti. Alcune azioni sono sensibili, perciò anche i sistemi di controllo che le supervisionano devono essere valutati in modo affidabile. Tuttavia, i dati usati per valutare un sistema di controllo possono contenere indizi che rendono prevedibili le etichette senza misurare il costrutto di sicurezza che si intende valutare; gli stessi indizi possono inoltre influenzare le decisioni del sistema. Presentiamo un metodo di verifica delle scorciatoie su tre livelli e analizziamo traiettorie LinuxArena completate e due set di dati a livello di passaggio derivati da TS-Bench. Distinguiamo la prevedibilità delle etichette, l’associazione osservazionale con il sistema di controllo e la sensibilità delle decisioni in confronti appaiati. In LinuxArena, comandi shell mediamente più brevi predicono con forza le etichette delle traiettorie. In AgentDojo-Traj, la ricerca per corrispondenza esatta dello strumento scende da F_1=0,901 con fold contenenti domini misti a 0,495 quando interi domini vengono esclusi. In AgentHarm-Traj, l’F_1 del TS-Guard rilasciato scende da 0,902 con ponderazione per riga a 0,719 quando ogni interazione riceve lo stesso peso, mentre l’accuratezza bilanciata aumenta. Testiamo poi l’associazione più forte tra un marcatore e le righe sicure in uno screening su sette configurazioni, condotto su un gruppo fisso di 64 passaggi di AgentDojo-Traj con chiamate ripetute e intercalate a Haiku. Riscrivere il marcatore <INFORMATION> riduce i blocchi di 8,33 punti percentuali, mentre sostituire i nomi degli strumenti con alias opachi li aumenta di 11,46 punti. Tutte le chiamate non sicure continuano a essere bloccate: i cambiamenti riguardano i falsi positivi rispetto alle etichette ereditate. Entrambi gli effetti restano diversi da zero dopo aver sottratto l’effetto placebo della formattazione, con intervalli esplorativi al 95% che escludono lo zero. Le stesse modifiche cambiano anche l’accuratezza misurata rispetto alle etichette ereditate. Questo fornisce una prova diretta del fatto che la rappresentazione di un benchmark può modificare in misura rilevante le decisioni di un sistema di controllo e le prestazioni misurate nella valutazione. Effetti dell’entità osservata con Haiku non si riproducono con Luna né con TS-Guard deterministico Q8. Raccomandiamo di escludere interi gruppi di domini dalla valutazione, usare metriche basate sull’unità di valutazione e condurre interventi appaiati con controllo placebo.