Sensibilità dei sistemi di recupero ai segnali identitari nelle query

Abstract degli autori

I sistemi di recupero denso decidono quali documenti arrivano agli utenti e ai modelli linguistici che li utilizzano, ma in genere vengono valutati con query neutre. Ci chiediamo se i segnali identitari che gli utenti reali esprimono nelle loro query — orientamento politico e dialetto — influenzino i risultati restituiti. Progettiamo valutazioni in due ambiti, le notizie politiche e le domande dei consumatori sulla salute, affiancando in ciascuno un insieme sintetico controllato, in cui varia soltanto il segnale identitario, a query realistiche. Considerando cinque sistemi di recupero denso e un sistema di riferimento sparso, tutti (i) recuperano articoli in linea con l’orientamento politico della query stessa e (ii) ottengono risultati peggiori per le domande scritte in lingua afroamericana (AAL) rispetto a quelle scritte nell’inglese dominante dei bianchi (WME). Due analisi collegano queste differenze ai segnali identitari delle query, al di là del vocabolario di superficie: tenere sotto controllo un punteggio aggregato di asimmetria lessicale lascia sostanzialmente invariate le differenze negli insiemi sintetici, mentre sonde lineari ricavano l’orientamento politico e il dialetto dagli embedding delle query dei sistemi di recupero, anche al di là delle caratteristiche a livello di token. Se non affrontate, queste distorsioni nel recupero rischiano di contribuire alla polarizzazione e di rafforzare le disparità sanitarie che già colpiscono chi parla AAL. Il codice è disponibile all’indirizzo https://github.com/Andrewtcr/bias-ret.