Il fine-tuning multimodale circoscritto può indurre un disallineamento emergente

Abstract degli autori

I moderni modelli di IA vengono allineati mediante un addestramento successivo per adattarli a compiti a valle. Studi recenti mostrano che il fine-tuning dei modelli linguistici su compiti circoscritti può indurre un disallineamento emergente (EM), causando comportamenti dannosi in molti ambiti, oltre il compito usato per l’addestramento. Finora, però, l’EM è stato studiato quasi esclusivamente in compiti basati sul solo testo, e non è chiaro come si manifesti nei modelli multimodali. In questo articolo definiamo e analizziamo l’EM nel contesto dei modelli visivo-linguistici. Per prima cosa, induciamo l’EM mediante fine-tuning su compiti multimodali circoscritti riguardanti codice vulnerabile, uso incauto di oggetti domestici e interpretazioni complottiste di scene ordinarie. Esaminando quindici modelli commerciali e open source di dimensioni diverse, osserviamo che il fine-tuning multimodale circoscritto può indurre comportamenti coerenti e ampiamente disallineati che si trasferiscono a compiti non correlati, tra cui opinioni disallineate, rappresentazioni fattualmente false di contenuti visivi, generazione di immagini non sicure, vulnerabilità ai jailbreak visivi e azioni agentiche rischiose. Riscontriamo inoltre che l’EM multimodale non dipende dall’apparente nocività dei dati di addestramento, ma è sensibile alla corrispondenza tra le modalità usate nell’addestramento e nella valutazione. L’EM può insorgere sia con il fine-tuning supervisionato sia con l’ottimizzazione delle preferenze, e può propagarsi attraverso il ragionamento intermedio. Infine, esploriamo diverse strategie di mitigazione, tra cui l’inoculazione tramite prompt, la prosecuzione dell’addestramento in forma benigna e l’orientamento a livello delle attivazioni, che possono ridurre parzialmente l’EM. Nel complesso, i nostri risultati suggeriscono che l’EM multimodale rifletta un cambiamento comportamentale, anziché una perdita generale di capacità, e che si estenda oltre il testo alla modalità visiva.