Geometria della sicurezza in funzione della profondità nei modelli visivo-linguistici: localizzazione livello per livello e controllo bidirezionale del rifiuto

Abstract degli autori

I modelli visivo-linguistici (VLM) sono ampiamente utilizzati, ma i meccanismi interni alla base dei loro comportamenti di sicurezza restano poco compresi. Presentiamo un framework leggero, utilizzabile in fase di inferenza, per localizzare e manipolare le rappresentazioni sensibili alla sicurezza nei VLM congelati, senza riaddestrarli né modificarne i parametri. Su Qwen3-VL-4B, l’analisi della divergenza delle attivazioni livello per livello rivela che la geometria della sicurezza non è uniforme al variare della profondità. Gli interventi causali mostrano che i primi livelli visivi consentono un forte controllo bidirezionale del rifiuto orientando le attivazioni lungo una direzione di sicurezza appresa, con percentuali di rifiuto degli input non sicuri comprese tra il 6% e il 96%. I livelli successivi, invece, rispondono maggiormente al riscalamento dell’ampiezza delle attivazioni e mostrano un marcato compromesso tra sicurezza e selettività. I livelli più profondi restano ben separati lungo la direzione di sicurezza, ma sono in gran parte insensibili all’orientamento delle attivazioni: ciò distingue la separabilità delle rappresentazioni dalla possibilità di controllarle causalmente. InternVL2.5-4B mostra una geometria delle attivazioni in funzione della profondità qualitativamente simile, pur con differenze nella posizione dei livelli e nell’ampiezza delle attivazioni. I nostri risultati mettono in luce, negli encoder visivi dei VLM, una superficie d’attacco white-box a livello delle rappresentazioni che consente di aggirare il rifiuto, e indicano l’opportunità di stabilizzare in fase di inferenza le rappresentazioni sensibili alla sicurezza.