Prima di condurre sondaggi con gli LLM: un framework diagnostico deliberativo

Abstract degli autori

Gli LLM riescono a ragionare su nuove informazioni come gli esseri umani o si limitano a recuperare opinioni già memorizzate? È una questione cruciale per il campionamento su silicio, in cui le personas degli LLM simulano l’opinione pubblica su larga scala. Le valutazioni attuali verificano soltanto se le personas hanno le opinioni giuste: un’istantanea statica. Ma la ricerca sulle opinioni dipende sempre più dalla fedeltà dinamica: dalla capacità delle personas di aggiornare le proprie convinzioni in risposta a nuove argomentazioni, come fanno gli esseri umani durante la deliberazione. Non esiste alcun benchmark che lo verifichi. Presentiamo il Deliberative Polling Diagnostic Framework, che confronta i cambiamenti nelle convinzioni di esseri umani e LLM dopo interventi informativi identici. Basato sul sondaggio deliberativo, il framework porta alla luce fallimenti invisibili alle valutazioni statiche: i modelli possono produrre opinioni partigiane plausibili e tuttavia rappresentare in modo errato come queste opinioni cambiano. Applicando il framework a cinque modelli di frontiera e usando dati di America in One Room (526 personas, 72 domande), riscontriamo che ogni modello fallisce, ciascuno in modo diverso. GPT-5.1 mostra un’inversione: dopo aver ricevuto informazioni equilibrate, le sue personas diventano più ostili verso il partito avversario, mentre gli esseri umani lo diventano meno. Questa inversione è selettiva (80% sulle domande sull’outgroup contro il 26% sulle domande di policy) e simmetrica tra le identità partitiche. Gemini 2.0 Flash, Claude Sonnet 4.5 e Llama 3.3 70B mostrano un effetto di sovraelongazione: cambiano nella direzione corretta, ma con un’intensità 5-7 volte superiore a quella osservata negli esseri umani. DeepSeek V3 mostra rigidità, con cambiamenti pressoché nulli. Le ablazioni mirate rivelano che i contenuti di policy innescano questi fallimenti e che essi sono specifici per identità: GPT-5.1 inverte la direzione sulle domande sull’outgroup, ma mostra una sovraelongazione su quelle sull’ingroup; Gemini mostra il fenomeno inverso. Chiamiamo questa caratteristica self-sycophancy: conformità allo stereotipo interno del modello sulla persona, invece di ragionamento basato sulle informazioni fornite. Il nostro framework offre un protocollo concreto: eseguire la diagnostica deliberativa prima di affidarsi alle personas degli LLM per riprodurre convinzioni aggiornate.