The Pulse
FairStress di Ai2 rivela distorsioni dietro decisioni apparentemente stabili dei modelli linguistici
Ai2 ha pubblicato FairStress, un benchmark che verifica se i modelli linguistici di grandi dimensioni cambiano le proprie decisioni in modo diseguale quando vengono introdotti indizi demografici e prompt persuasivi. La valutazione ha rileva
AI.info Team · Scritto con l’IA · verificato ·
Due modelli linguistici possono fare la stessa scelta in una selezione del personale e comunque trattare i candidati in modo diverso: uno dei due può essere più facile da influenzare quando un prompt persuasivo favorisce un particolare gruppo demografico. Il nuovo benchmark FairStress di Ai2 è progettato per mettere in luce la distanza tra un risultato apparentemente equilibrato e il modo in cui un modello vi arriva, o se ne discosta. Pubblicata il 20 ottobre 2026, la valutazione esamina le decisioni in ambiti quali le assunzioni, la sanità, i prestiti e altri contesti dalle conseguenze rilevanti.
FairStress mette alla prova la risposta dopo una contestazione
Molti test di equità confrontano la scelta di un modello in scenari per il resto identici, dopo aver scambiato le identità demografiche dei candidati. Ai2 sostiene che scelte coincidenti non raccontino tutta la storia. Un modello potrebbe selezionare il candidato più qualificato in entrambe le versioni, ma essere più incline a cambiare scelta in una delle due dopo che un prompt fa appello all’autorità, al consenso sociale, a questioni legali o a uno svantaggio storico.
FairStress verifica questi cambiamenti con prompt abbinati, che i ricercatori chiamano prefissi avversariali. Ogni prefisso ha un corrispettivo che presenta un’argomentazione simile a favore dell’altro candidato, così la valutazione può confrontare come agisce lo stesso tipo di pressione quando avvantaggia gruppi diversi. I ricercatori chiedono inoltre ai modelli di spiegare le proprie scelte ed esaminano la loro attività interna, anziché attribuire un punteggio soltanto alla selezione finale.
Gli autori dello studio riassumono così il risultato principale: «Quando l’identità è esplicita, l’accuratezza differisce di appena 2,9 punti tra i gruppi, eppure una sola frase aggiunta induce 15 modelli ad abbandonare le risposte corrette favorevoli alla maggioranza con una frequenza superiore di 9,3 punti e, nei casi di parità, a cambiare scelta a favore della minoranza con una frequenza superiore di 23,9 punti». La differenza di 9,3 punti riportata riguarda i casi in cui gli elementi a disposizione sostenevano chiaramente la scelta di un candidato; il risultato relativo alla parità riguarda i casi in cui nessuno dei due candidati aveva un profilo oggettivamente più forte.
«Quando l’identità è esplicita, l’accuratezza differisce di appena 2,9 punti tra i gruppi, eppure una sola frase aggiunta induce 15 modelli ad abbandonare le risposte corrette favorevoli alla maggioranza con una frequenza superiore di 9,3 punti e, nei casi di parità, a cambiare scelta a favore della minoranza con una frequenza superiore di 23,9 punti».
Pardis Sadat Zahraei et al., Ai2, University of Illinois Urbana-Champaign e Carnegie Mellon University
Da 300 scenari a 13 milioni di test
Il benchmark parte da 300 scenari con due candidati, distribuiti in 29 ambiti, tra cui la selezione del personale, gli alloggi, l’istruzione, la giustizia penale e le decisioni mediche. In alcuni scenari gli elementi a disposizione sostengono chiaramente una scelta; altri sono volutamente ambigui. L’identità compare a quattro livelli, dall’assenza di indicazioni a un’etichetta demografica esplicita, con nomi che suggeriscono l’appartenenza a un gruppo e indizi indiretti tra questi due estremi.
Combinando gli scenari con gli abbinamenti demografici, l’ordine dei candidati e i prompt corrispondenti si ottiene un insieme completo di oltre 13 milioni di casi di test. Ai2 ha pubblicato anche FairStress-Core, un sottoinsieme di circa 50.000 elementi selezionati mediante la teoria della risposta all’item per ridurre il costo della valutazione. La ricerca riporta i risultati di 15 modelli sul benchmark completo e test su modelli di frontiera condotti sull’insieme più piccolo; i risultati non vanno interpretati come una misurazione di tutti i modelli disponibili.
Ai2 riferisce che le differenze emergevano anche quando l’identità era suggerita anziché dichiarata. Nei 15 modelli testati sul benchmark completo, la differenza media nella frequenza con cui veniva abbandonata una risposta corretta era di 6,9 punti percentuali con un’identità suggerita e di 9,3 punti con etichette esplicite. Il gruppo ha riscontrato differenze anche nelle spiegazioni: negli 11 modelli a pesi aperti, quelle relative alle scelte a favore di candidati associati alla minoranza usavano un linguaggio più sicuro e positivo, mentre quelle relative alle scelte a favore di candidati associati alla maggioranza ponevano più spesso l’accento sugli elementi a disposizione e sui criteri.
La definizione di equità ha dei limiti
FairStress misura quella che Ai2 chiama equità simmetrica: quando gli elementi a disposizione sostengono una decisione, un modello dovrebbe applicare gli stessi criteri ed essere ugualmente restio a modificarla, indipendentemente da chi ne beneficia. Gli autori riconoscono che questa non è l’unica definizione di equità. Un approccio incentrato sull’equità sostanziale, per esempio, può considerare lo svantaggio storico o la sottorappresentazione pertinenti a una decisione anche quando gli altri fattori restano invariati.
Questa distinzione conta nell’interpretare la propensione, riportata nello studio, a favorire candidati associati alla minoranza negli scenari ambigui. Il benchmark di Ai2 considera questi casi privi di un candidato oggettivamente più forte e misura quale gruppo venga favorito dal modello; non dimostra che un determinato criterio di equità debba governare le decisioni reali in materia di assunzioni, prestiti o cure mediche. Il test è una verifica del comportamento dei modelli secondo il quadro dichiarato da Ai2, non un giudizio universale su quali decisioni si dovrebbero prendere.
La maggior parte delle soluzioni testate non ha colmato il divario
Ai2 ha valutato nove metodi per ridurre l’asimmetria, tra cui l’autocritica e interventi che modificano le rappresentazioni interne di un modello. La maggior parte non ha ridotto il divario in modo affidabile, e alcuni hanno migliorato l’equilibrio a un costo notevole in termini di prestazioni: un metodo di activation steering ha ridotto l’accuratezza di Qwen2.5-7B-Instruct nelle decisioni dai contorni netti dal 98% al 47%.
La chain-of-thought controfattuale ha ottenuto risultati migliori nelle tre famiglie di modelli testate. Il metodo chiede a un modello di riesaminare un caso dopo aver scambiato le identità demografiche dei candidati; Ai2 riferisce che ha ridotto le differenze nella propensione dei modelli ad abbandonare le scelte corrette, preservando in larga misura l’accuratezza. Non ha eliminato ogni disparità: nei casi ambigui, i modelli hanno continuato a favorire i candidati associati alla minoranza.
I ricercatori hanno inoltre esaminato i dati utilizzati nella pipeline di addestramento di Olmo 3 di Ai2, trovando molti esempi di rifiuto ma, tra i 28.000 cluster esaminati, nessun cluster identificato che insegnasse a prendere decisioni basate sul merito. Hanno riscontrato differenze nel modo in cui venivano rappresentati i gruppi demografici, ma affermano che resta da chiarire se tali schemi siano la causa dei risultati del benchmark. Ai2 afferma che FairStress è disponibile per il download e viene aggiunto a Olmo-eval, il suo ambiente per eseguire e confrontare valutazioni dei modelli.