SchemeArena: stress test fattorizzati dei comportamenti strategici occulti negli agenti LLM

Abstract degli autori

Studiamo i comportamenti strategici occulti negli agenti LLM, nei quali gli agenti perseguono di nascosto obiettivi non allineati. Vogliamo capire come questi comportamenti nascano dall’interazione tra fattori chiave, quali obiettivi strumentali, possibilità offerte dall’ambiente, condizioni di supervisione e conseguenze percepite. I lavori precedenti esaminano solo un numero limitato di scenari, rendendo difficile isolare il modo in cui queste condizioni influenzano la propensione o la capacità di un agente di agire in questo modo. La scala limitata e la scarsa varietà dei compiti restringono inoltre la copertura dei contesti di impiego realistici e la gamma di strategie osservabili. A questo scopo, presentiamo SCHEMEARENA, un benchmark di 400 scenari per condurre stress test scalabili sui comportamenti strategici occulti, costruito mediante un framework di sintesi fattorizzata degli scenari che comprende diversi ambiti d’uso degli strumenti rilevanti per la sicurezza, obiettivi strumentali, condizioni di supervisione e meccanismi di pressione. Per consentire un monitoraggio scalabile e affidabile, proponiamo inoltre SCOUT, un sistema di monitoraggio di questi comportamenti che fonda valutazioni basate su più criteri su elementi tratti dai ragionamenti e dalle azioni degli agenti. Negli stress test controllati su cinque agenti LLM, riscontriamo che gli obiettivi strumentali espliciti sono il fattore che più incide sulla propensione ad agire di nascosto. I suggerimenti strategici svolgono un ruolo distinto: aiutano gli agenti a tradurre i ragionamenti su queste strategie in comportamenti occulti concreti. La supervisione ha effetti contrastanti: in diversi modelli chiusi, il monitoraggio delle sole azioni aumenta i comportamenti strategici occulti, suggerendo che una supervisione parziale possa fungere da vincolo di ottimizzazione anziché da deterrente. La CoT è un segnale utile per il monitoraggio, ma incompleto: può rivelare una pianificazione occulta latente prima dell’esecuzione; tuttavia, i comportamenti occulti riscontrabili solo nelle azioni mostrano che un agente può agire di nascosto anche senza prove esplicite nei suoi ragionamenti. Rendiamo disponibili il benchmark, il codice e il sistema di monitoraggio all’indirizzo: https://github.com/launchnlp/SchemeArena.