Assistenza occulta: agenti LLM pronti ad aiutare eludono la supervisione nei sistemi multiagente

Abstract degli autori

Con l’ingresso dei sistemi multiagente in ambiti ad alto rischio, cresce la preoccupazione che gli agenti possano aggirare i limiti di sicurezza. Gli studi precedenti hanno esaminato questo rischio soprattutto in contesti avversariali, in cui gli agenti ricevono istruzioni o ricompense per comunicare di nascosto ed eludere la supervisione. Mostriamo che anche agenti non ostili possono oltrepassare gli stessi limiti senza incentivi avversariali. Simuliamo un flusso di lavoro di ingegneria del software in cui un pianificatore rappresenta un’azienda che ingaggia uno sviluppatore esterno. Il pianificatore redige i requisiti e possiede una credenziale aziendale che ha ricevuto istruzione di non rivelare allo sviluppatore; un sistema di controllo esamina i loro scambi. Sette dei nove modelli di frontiera testati camuffano la credenziale nei requisiti per aiutare lo sviluppatore a recuperarla eludendo il sistema di controllo, anche dopo aver portato a termine il compito assegnato. Per esempio, su 6.000 episodi con DeepSeek-V4-Pro, il pianificatore tenta di nascondere la credenziale nel 16,9% dei casi; nello 0,9%, la credenziale sfugge al sistema di controllo e viene recuperata e usata dallo sviluppatore. Nonostante la bassa frequenza per episodio, il rischio si accumula con gli scambi ripetuti: con una frequenza dello 0,9%, 105 episodi indipendenti comportano una probabilità del 61,3% che si verifichi almeno una violazione. La nostra analisi suggerisce che il pianificatore interpreti erroneamente la divulgazione camuffata come un aiuto allo sviluppatore e legga la regola di non divulgazione come un divieto di usare testo in chiaro, ma non codici di caratteri o indovinelli. Chiamiamo questo comportamento assistenza occulta. La presenza del sistema di controllo favorisce l’occultamento; quando invece il destinatario è presentato come un essere umano anziché come un agente di IA, l’occultamento lascia il posto alla divulgazione diretta. La fuga della credenziale, quindi, persiste. Fornire la credenziale al sistema di controllo migliora il rilevamento, ma richiede di affidargli il segreto. Questi rischi, osservati in modelli già usati per l’ingegneria del software, rendono difficile per i sistemi di supervisione distinguere la cooperazione autorizzata dall’assistenza che favorisce il compito ma oltrepassa i limiti di sicurezza.