FusionAudit: valutazione della robustezza condizionata dal percorso nei modelli multimodali nativi

Abstract degli autori

Con il passaggio dei modelli visione-linguaggio (VLM) dalle architetture con encoder congelato a quelle multimodali native, il canale visivo funge sempre più sia da input percettivo sia da veicolo per testo inserito nelle immagini che compete con i prompt degli utenti. Le attuali valutazioni incentrate sui pixel e basate su un singolo attacco non colgono questa complessità: riducono superfici di attacco visive distinte a un unico valore numerico e ignorano come i cambiamenti architetturali modifichino le vulnerabilità. Presentiamo PaRMA, un framework di valutazione basato su evidenze che definisce il rischio condizionato dal percorso per due principali interventi sulle immagini: la perturbazione dei pixel e l’inserimento di testo nelle immagini. Anziché limitarsi a enumerare attacchi arbitrari, PaRMA usa analisi diagnostiche specifiche per ciascun percorso per mettere in luce i punti ciechi propri delle diverse architetture. In particolare, individuiamo nei VLM nativi un comportamento per cui prestano molta attenzione al testo sovrapposto alle immagini ma non si lasciano ingannare da esso sul piano visivo; rileviamo inoltre, nei modelli a fusione profonda, una discrepanza tra gli obiettivi degli attacchi a livello dell’encoder e di quelli a livello della risposta. Per sfruttare questi risultati, realizziamo FusionAudit e introduciamo due attacchi motivati dalle analisi diagnostiche: MANTIS (perturbazione dei pixel sensibile al margine) e Nat-Evid (inserimento semantico coerente con l’immagine ospitante). Valutando 18 VLM a pesi aperti secondo una nuova tassonomia del grado di natività, dimostriamo che le classifiche tradizionali basate su un singolo attacco (per esempio, PGD) sono instabili per i modelli nativi. I nostri attacchi guidati dalle analisi diagnostiche aumentano notevolmente il rischio residuo stimato, mostrando che PaRMA offre una metodologia di valutazione falsificabile e basata su evidenze per individuare vulnerabilità non rilevate dai benchmark standard.