Mettere alla prova il monitoraggio della catena di pensiero contro il disallineamento occulto

Abstract degli autori

Con il rapido aumento dell’autonomia degli agenti basati su LLM, diventa sempre più plausibile il rischio che obiettivi nascosti aggirino i vincoli di sicurezza. Il monitoraggio della catena di pensiero (CoT) offre un importante meccanismo di controllo: esamina il ragionamento dell’agente e segnala il disallineamento prima che si traduca in azione. La sua affidabilità, tuttavia, dipende da quanto sia realistico il red-teaming a cui viene sottoposto. Le attività di red-teaming esistenti si basano su schemi condivisi, come presentare un’attività secondaria come prerequisito: in questo modo, l’obiettivo secondario viene trattato come un elemento inserito dall’esterno, mentre restano poco esplorate le strategie elusive specifiche del compito e radicate nel contesto. Ci chiediamo quindi: quanto è robusto il monitoraggio CoT nei confronti di agenti che nascondono strategicamente il proprio disallineamento? Per rispondere, introduciamo TraceMRT, un framework automatizzato di red-teaming dei monitor a livello di traccia, che riformula l’attività secondaria come un sotto-obiettivo coerente con il compito principale e cerca strategie di manipolazione delle tracce, le cui traiettorie indotte portano a compiere l’obiettivo disallineato pur sembrando un’esecuzione naturale. Attraverso attacchi black-box contro monitor all’avanguardia come GPT-5.2 e Claude-4.5, riveliamo vulnerabilità considerevoli anche nei modelli migliori. Per contrastarle, proponiamo un framework bayesiano per il monitoraggio delle traiettorie, che integra il contesto globale e le evidenze dei segmenti locali per rilevare il disallineamento occulto. Dal punto di vista empirico, il nostro metodo rafforza significativamente la robustezza dei monitor, raggiungendo un’AUC di 0,91 e un TPR@FPR=0,05 di 0,74.