Un metodo basato su proxy per misurare le disparità razziali nei generatori di immagini~da testo

Abstract degli autori

Presentiamo un metodo automatizzato per verificare la presenza di distorsioni nella rappresentazione nei generatori di immagini da testo, confrontandoli con benchmark demografici di riferimento. Il nostro approccio adatta le variabili proxy razziali utilizzate nella normativa antidiscriminatoria statunitense per fornire un’analisi comparativa dettagliata delle variazioni nella rappresentazione razziale delle immagini generate. Classifichiamo ogni immagine generata in base alla razza e confrontiamo poi la distribuzione del modello con i dati demografici di benchmark disponibili pubblicamente, per individuare eventuali schemi di sovra- e sottorappresentazione. Misuriamo anche il tono della pelle usando i valori CIELAB e calcoliamo la similarità coseno tra gruppi di immagini, così da rilevare distorsioni che non emergono dai confronti demografici, come le differenze nella qualità delle immagini tra razze e tonalità della pelle. Presentiamo i risultati di esperimenti condotti su tre modelli (Imagen 4 Fast, Stable Diffusion 3.5 Large Turbo e Flux Schnell), utilizzando tre categorie di proxy (geografici, professionali e basati sui cognomi) e 50 varianti per ciascuna categoria. Riscontriamo variazioni significative tra i modelli e tra le categorie di proxy. Per esempio, Imagen 4 Fast sovrarappresenta le immagini classificate come bianche più degli altri modelli testati e genera immagini con tonalità della pelle più chiare e omogenee. Imagen 4 Fast ha anche registrato la maggiore disparità di rappresentazione dei gruppi demografici neri nei prompt basati su cognomi e in quelli geografici. Nel complesso, i risultati di Stable Diffusion 3.5 Large Turbo si discostano maggiormente dai dati censuari, ma presentano la gamma più diversificata di tonalità della pelle. Il nostro metodo fornisce uno strumento di verifica generalizzabile e fondato sul diritto, che porta alla luce informazioni dettagliate sui risultati dei modelli senza affidarsi a definizioni normative implicite di equità.