GGSS: Geodesic-Gated Spherical Steering per la riduzione dei bias in fase di inferenza nei modelli generativi di visione e linguaggio

Abstract degli autori

I modelli generativi di visione e linguaggio (VLM) sono sempre più utilizzati in contesti incentrati sulle persone, ma possono produrre risultati influenzati da bias demografici anche quando le immagini differiscono soltanto per attributi controllati, come la razza o il genere percepiti. I metodi esistenti per ridurre i bias in fase di inferenza, tuttavia, sono stati progettati in gran parte per rappresentazioni vettoriali statiche o modelli simili a CLIP, anziché per VLM generativi. Proponiamo GGSS---Geodesic-Gated Spherical Steering---, un intervento che preserva la norma, individua un sottospazio controfattuale del bias sull’ipersfera unitaria, orienta i token visivi lungo archi geodetici e usa un meccanismo adattivo per concentrare la correzione sui token che veicolano un segnale demografico più forte. Valutiamo quattro VLM generativi confrontandoli con dieci metodi di riferimento adattati per ridurre i bias in fase di inferenza e con una mitigazione basata sui prompt, usando un unico protocollo a punto operativo per test sui bias categoriali, sui bias nelle comparazioni a coppie e sui bias relativi a professione e genere. Misuriamo inoltre le capacità generali di elaborazione visivo-linguistica. GGSS ottiene il bias medio più basso su tutti e quattro i modelli, con risultati significativi per tre delle quattro architetture di base nei test di permutazione per dati appaiati, e mantiene l’accuratezza su MMStar entro +/- 0,6 punti percentuali rispetto al riferimento senza intervento. Il codice è disponibile all’indirizzo https://github.com/dukesun99/GGSS.