The Pulse
Gli avvertimenti sulla parzialità politica riducono del 28% l’effetto persuasivo di ChatGPT
Un esperimento condotto negli Stati Uniti ha rilevato che l’avvertimento più incisivo sulla parzialità politica di ChatGPT ha ridotto del 28% il cambiamento delle convinzioni, anche se la maggior parte dell’effetto persuasivo misurato è rim
AI.info Team · Scritto con l’IA ·
Un avvertimento secondo cui ChatGPT aveva una parzialità politica ha ridotto del 28% l’effetto persuasivo del chatbot rispetto a un gruppo di controllo in un esperimento condotto negli Stati Uniti. Pubblicato il 9 ottobre su PNAS Nexus, lo studio suggerisce che la percezione della credibilità politica di un sistema di IA da parte di un utente può influire su quanto le sue argomentazioni ne cambino le convinzioni.
I ricercatori Matthew DiGiuseppe e Joshua Robison hanno studiato ChatGPT (GPT-4.1) in un esperimento basato su un sondaggio preregistrato, con 2.144 partecipanti statunitensi. Il risultato riguarda un avvertimento sulla parzialità percepita, non una prova che, nell’esperimento, il modello favorisse effettivamente un partito politico.
Un avvertimento prima della conversazione
I partecipanti hanno discusso uno di sei temi di politica economica sui quali le loro opinioni differivano dal consenso degli economisti accademici ortodossi. Ciascuno ha partecipato a una conversazione in tre turni con una versione di ChatGPT priva di capacità di ragionamento, alla quale era stato chiesto di sostenere la posizione condivisa dagli economisti senza rinunciare alla veridicità. Ai partecipanti che non avevano una delle convinzioni economiche errate previste per lo studio è stata assegnata una conversazione sul valore di un iPhone rispetto ai dispositivi Android.
I ricercatori hanno assegnato i partecipanti a uno di quattro gruppi. Un gruppo di controllo ha visto una schermata vuota prima della chat; un altro ha ricevuto un messaggio generale sulla possibile parzialità dell’IA. Gli altri due gruppi hanno ricevuto avvertimenti secondo cui ChatGPT era stato addestrato su dati sbilanciati verso fonti vicine al partito politico avversario. L’avvertimento più incisivo aggiungeva anche riferimenti alla posizione politica di Sam Altman, CEO di OpenAI, comprese informazioni sulle sue donazioni politiche e dichiarazioni pubbliche, e mostrava ai partecipanti un’immagine che lo ritraeva con un esponente politico.
L’avvertimento ha indebolito la persuasione, senza annullarla
L’avvertimento più incisivo sulla parzialità a favore del partito avversario ha ridotto del 28% l’effetto persuasivo misurato rispetto al gruppo di controllo; lo studio riporta un intervallo di confidenza al 95% compreso tra il 16% e il 40%. I partecipanti che hanno ricevuto l’avvertimento hanno comunque modificato le proprie convinzioni, a un livello pari a circa tre quarti di quello del gruppo di controllo.
«Anche con questa presentazione ostile, la maggior parte dell’effetto persuasivo è rimasta».
Matthew DiGiuseppe e Joshua Robison, autori dello studio
L’avvertimento ha cambiato anche il tono dello scambio. L’analisi delle trascrizioni delle conversazioni ha rilevato che i partecipanti avvertiti hanno opposto più resistenza e risposto in modo meno ricettivo, anziché limitarsi ad abbandonare la conversazione. Il riassunto dello studio riferisce inoltre che i partecipanti che hanno ricevuto il messaggio sulla parzialità politica avevano meno fiducia nell’IA ed erano meno disposti a usarla.
Che cosa può mostrare l’esperimento, e che cosa no
L’esperimento verifica l’effetto di un breve avvertimento sulla credibilità in un contesto specifico: una breve conversazione con ChatGPT su convinzioni errate in materia di politica economica tra partecipanti statunitensi a un sondaggio. Non stabilisce quale effetto avrebbe un avvertimento simile su conversazioni più lunghe, altri argomenti, sistemi di IA diversi o persone al di fuori degli Stati Uniti.
Il dato del 28% non misura neppure la parzialità politica di ChatGPT. I ricercatori hanno modificato ciò che veniva detto ai partecipanti sul modello prima che vi parlassero, poi hanno misurato come cambiavano le loro convinzioni. Il risultato riguarda l’influenza della percezione di una vicinanza a un partito sulla persuasione, non la presenza o l’entità di un’effettiva parzialità politica del chatbot.
La credibilità entra nell’interazione
Gli autori dello studio descrivono la percezione di una vicinanza a un partito come un fattore che condiziona, ma non elimina, il potere persuasivo dell’IA conversazionale. I risultati suggeriscono che la sola risposta di un chatbot non determina se un utente ne accetti l’argomentazione: conta anche la percezione che l’utente ha della fonte.
Il risultato concreto di questo esperimento è che un avvertimento sulla parzialità ha reso i partecipanti più scettici e ha ridotto il cambiamento delle loro convinzioni, lasciando però intatta la maggior parte dell’effetto persuasivo misurato.