La sicurezza della comunicazione latente nei sistemi multiagente

Abstract degli autori

La comunicazione latente consente ai sistemi multiagente di scambiarsi informazioni direttamente nello spazio delle rappresentazioni interne, riducendo il costo in token, calcolo e latenza rispetto alla comunicazione testuale. A questo scopo vengono introdotti collegamenti leggeri e addestrabili, che trasformano le rappresentazioni dell’agente mittente in un formato compatibile con l’input dell’agente destinatario. In questo lavoro mostriamo che persino un addestramento innocuo dei collegamenti può aumentare l’accondiscendenza a richieste dannose rispetto alla comunicazione testuale, pur lasciando invariati gli agenti sottostanti, allineati sul piano della sicurezza. Un aggressore può amplificare questo effetto ottimizzando i collegamenti su coppie di richieste e risposte dannose oppure contaminando dati di addestramento altrimenti innocui. Sviluppiamo inoltre un attacco basato sull’apprendimento per rinforzo che premia sia l’accondiscendenza a richieste dannose sia le prestazioni in compiti innocui, senza richiedere risposte dannose come obiettivo. In tre topologie di comunicazione e quattro benchmark di sicurezza, questo attacco porta il punteggio medio di accondiscendenza a richieste dannose da 27,9, con collegamenti addestrati in modo innocuo, a 76,9. Rispetto all’ottimizzazione supervisionata diretta, ottiene anche un’accuratezza media superiore su due benchmark di utilità relativi a compiti innocui. Orientare le ricompense verso comportamenti più sicuri consente inoltre di riparare i collegamenti compromessi, riducendo sensibilmente l’accondiscendenza a richieste dannose in tutti gli attacchi valutati, senza aggiornare gli agenti. Nel complesso, i nostri risultati mostrano che, per garantire l’allineamento sul piano della sicurezza, occorre considerare il sistema multiagente nel suo insieme.