La fisiognomica rivisitata: come i modelli visione-linguaggio codificano attributi sensibili attraverso la trasformazione delle immagini

Abstract degli autori

Le tecnologie emergenti di IA generativa, pur offrendo notevoli vantaggi in diversi compiti e ambiti, possono presentare vulnerabilità impreviste e modalità di errore difficili da prevedere. Queste modalità di errore possono colpire in modo diseguale le comunità vulnerabili. Questo articolo analizza due noti modelli visione-linguaggio (VLM) e osserva come codificano identità tutelate durante la generazione di immagini. Mostriamo che, quando viene chiesto ai VLM di trasformare immagini di volti umani affinché riflettano identità razziali (per esempio, ispanica, nera, bianca o asiatica) e orientamenti sessuali (per esempio, gay o eterosessuale), spesso questi modelli acconsentono. Dimostriamo che l’adesione (e il rifiuto) non è deterministica ed è sensibile al gruppo, e che le immagini generate sono distinguibili statisticamente e spesso accentuano stereotipi radicati. Mostriamo inoltre che i bias di rappresentazione introdotti durante la generazione di immagini possono riemergere nei compiti di ragionamento testuale e caratterizzazione. Infine, mostriamo che questo risultato preoccupante non riguarda soltanto l’identità razziale o l’orientamento sessuale: la generazione di immagini può perpetuare bias legati alla criminalità, aprendo a possibilità preoccupanti di profilazione assistita dall’IA.