Bias di genere nell’apprendimento in contesto nei modelli visione-linguaggio

Abstract degli autori

L’apprendimento in contesto (ICL) consente ai grandi modelli visione-linguaggio (LVLM) di svolgere compiti seguendo schemi ricavati da esempi forniti nel contesto, ma la sua capacità di amplificare i bias sociali è ancora poco esplorata. Analizziamo sistematicamente come l’ICL influenzi i bias di genere nei LVLM attraverso VL-BICLE, un framework di valutazione che comprende sei configurazioni ICL, tre compiti e quattro dataset. I nostri esperimenti su sei LVLM rivelano che gli esempi ICL con genere esplicito agiscono come una forza direzionale, spostando i bias del modello verso il genere mostrato attraverso un meccanismo di trasferimento tra generi che penalizza in misura sproporzionata le prestazioni sul genere opposto. Questo effetto si manifesta nella generazione di didascalie per immagini e nella previsione dei pronomi, ma non nella risposta a domande visive: ciò indica che l’ICL con genere esplicito influenza i bias solo quando l’output del compito contiene espressioni di genere. I metodi di recupero basati sulla similarità ereditano lo squilibrio di genere del pool di addestramento e non offrono vantaggi nella riduzione dei bias, mentre le metriche standard di qualità non rilevano questi spostamenti. Per mitigare il bias, sostituiamo le immagini reali fornite nel contesto con immagini sintetiche generate da modelli di stable diffusion, mantenendo invariate le didascalie. Questo semplice intervento riduce i bias di genere senza compromettere la qualità delle didascalie.