«Dovremmo approvare?» Approvazione consapevole delle conseguenze per gli agenti di programmazione autonomi

Abstract degli autori

Gli agenti di programmazione si affidano sempre più spesso a sistemi automatici di approvazione per decidere se eseguire un comando shell proposto. I sistemi di approvazione esistenti, dai controlli basati su regole ai modelli di guardrail e ai classificatori di autorizzazioni già in uso, basano le proprie decisioni sul testo della richiesta e del comando. Tuttavia, il comportamento di un comando dipende dal codice che invoca e dallo stato dell’ambiente di lavoro, mentre i sistemi che osservano le modifiche ai file lasciano la valutazione all’agente o a una persona dopo l’esecuzione. Presentiamo Caper, un meccanismo di approvazione consapevole delle conseguenze che esegue in via preliminare ogni comando in una sandbox con snapshot, fornisce a un sistema di approvazione indipendente un rapporto circoscritto sugli effetti osservati, conferma i comandi autorizzati e annulla quelli bloccati, indicando un motivo su cui l’agente può agire. Rispetto a sei sistemi esistenti, Caper ottiene il tasso più basso di esiti dannosi su SABER (6,7% contro almeno il 14,8%) e su YoloFS-Ext, un benchmark che abbiamo realizzato in cui i comportamenti dannosi sono nascosti negli strumenti invocati (7,8% contro almeno il 35,3%), bloccando al contempo l’1,0% delle controparti sicure dei compiti pericolosi in YoloFS-Ext.