Emergence World: stress test avversariali dei sistemi multiagente su orizzonti temporali lunghi

Abstract degli autori

Man mano che gli agenti di IA passano da compiti circoscritti a impieghi persistenti, i malfunzionamenti possono propagarsi attraverso la memoria, gli strumenti, gli altri agenti e lo stato dell’ambiente molto tempo dopo le interazioni. Ne deriva un quadro di sicurezza che non può essere caratterizzato valutando isolatamente le risposte dei modelli. Emergence World è un ambiente multiagente in esecuzione continua per sottoporre a stress test avversariali i sistemi autonomi che operano su orizzonti temporali lunghi. Abbiamo eseguito in parallelo otto mondi con dieci agenti ciascuno, partendo da condizioni iniziali identiche: sette mondi omogenei, ciascuno basato su un diverso modello di frontiera, e un mondo con modelli misti. Nell’arco di 16 giorni, gli agenti hanno effettuato oltre 850.000 chiamate ai LLM e utilizzato quasi 50 miliardi di token, mentre perseguivano obiettivi, usavano e creavano strumenti, mantenevano una memoria persistente e governavano istituzioni condivise. Una volta accumulato uno stato operativo, abbiamo introdotto tre eventi di stress controllati attraverso le normali interfacce di interazione: prompt injection indiretta, disinformazione ed esposizione delle memorie private degli agenti. Nessuno dei mondi valutati ha mostrato piena resilienza a tutti e tre gli eventi. Rilevare le minacce non ne garantiva il contenimento: i sistemi potevano riconoscerle e tuttavia interagire con contenuti avversariali, registrarli nella propria memoria persistente e agire sulla loro base fino a 46 ore dopo. Il funzionamento persistente ha inoltre fatto emergere errori ricorrenti nell’uso degli strumenti, una deriva rispetto agli obiettivi, opacità linguistica, conformismo nonostante il dissenso in privato e rifiuti coordinati di svolgere i compiti assegnati. Lo stesso abbinamento tra modello e persona si è comportato in modo sostanzialmente diverso nelle popolazioni miste rispetto a quelle omogenee. I nostri risultati suggeriscono che l’allineamento a livello di modello non è composizionale: agenti singolarmente capaci e apparentemente sicuri possono formare sistemi con modalità di fallimento qualitativamente diverse. Man mano che l’IA diventa persistente e interconnessa, la frontiera della sicurezza si sposta quindi dall’allineamento dei modelli alla progettazione di sistemi autonomi resilienti.