Sbagliati insieme: bias condiviso nella simulazione degli utenti

Abstract degli autori

I simulatori di utenti generano risposte al posto dei partecipanti umani, consentendo ai ricercatori di stimare l’esito di uno studio. Per utilizzare queste stime prima di raccogliere le risposte umane, i ricercatori hanno bisogno di un modo per valutarne l’affidabilità. Verifichiamo se il disaccordo tra simulatori può individuare stime inaffidabili delle proporzioni di risposta di un gruppo e delle differenze tra gruppi. Valutiamo questo segnale usando 6 simulatori basati su modelli linguistici e le risposte già esistenti di GlobalOpinionQA a 60 domande in 12 paesi. Il disaccordo predice l’invalidità con maggiore accuratezza per le differenze tra due gruppi che per le proporzioni di risposta di un singolo gruppo (AUC 0,87 contro 0,71). Gli errori condivisi dai simulatori restano invisibili a questo segnale. Quando un errore di questo tipo incide allo stesso modo su entrambi i gruppi, si annulla nel confronto, contribuendo a spiegare il risultato più forte per le differenze tra gruppi. Verifichiamo questa spiegazione stimando il bias condiviso usando un insieme di gruppi e sottraendolo dalle previsioni per un insieme distinto. Questa correzione riduce l’errore di previsione senza modificare il disaccordo tra i simulatori. In un’analisi retrospettiva, simuliamo di sottoporre a valutazione umana il 20% dei confronti tra gruppi caratterizzati dal maggiore disaccordo. Tra i confronti rimanenti per i quali il giudizio sulla validità è conclusivo, il 54,8% è giudicato non valido, contro il 63,7% prima di sottoporre i confronti a valutazione.