Sfruttare le direzioni testuali di rifiuto per la sicurezza multimodale

Abstract degli autori

La sicurezza dei modelli linguistici multimodali di grandi dimensioni (MLLM) dipende da dati multimodali non sicuri, usati per l’allineamento successivo all’addestramento o per orientare le attivazioni. Tuttavia, questi dati sono difficili da raccogliere, devono essere raccolti nuovamente per ogni modalità e la loro raccolta e distribuzione sollevano questioni etiche e legali. In questo lavoro superiamo tale vincolo e indaghiamo se le direzioni testuali di rifiuto, estratte direttamente dal modello linguistico di base, si generalizzino a modalità diverse, ossia immagini e video. I risultati preliminari confermano questa capacità, benché l’efficacia dipenda dalla scelta del livello, dall’intensità dell’intervento e dall’allineamento tra modalità; quest’ultimo può indirizzare erroneamente verso il rifiuto anche input multimodali sicuri. Su queste basi presentiamo Modality-Agnostic Refusal Steering (MARS), un approccio leggero che non richiede addestramento né dati di sicurezza multimodali per introdurre misure di sicurezza multimodale. MARS corregge il disallineamento tra modalità mediante la centratura delle attivazioni, adatta l’intensità dell’intervento entro una regione di fiducia definita geometricamente e seleziona il livello ottimale su cui intervenire, agendo sul primo token generato. Valutato su cinque MLLM allo stato dell’arte in termini di sicurezza, utilità e jailbreak video, MARS ottiene miglioramenti costanti della sicurezza preservando l’utilità fino al limite dell’eccesso di rifiuti. MARS mostra che le modalità condividono una struttura rilevante per la sicurezza e che le direzioni testuali di rifiuto costituiscono una base efficace e ancora poco esplorata per l’allineamento multimodale.