Probabile, ma non valido: una verifica psicometrica dei modelli decisionali come rispondenti sintetici ai sondaggi

Abstract degli autori

I modelli linguistici sono sempre più usati per creare campioni sintetici per i sondaggi, detti anche *silicon samples*. I modelli decisionali sono una nuova classe di modelli linguistici che, anziché testo, restituiscono una probabilità per ciascun punto di una scala di valutazione. Ci chiediamo se questi modelli, o i più recenti LLM generativi, possano sostituire i rispondenti umani in un’indagine psicometrica. Mettiamo alla prova quattordici modelli decisionali di undici fornitori e 47 LLM generativi su un’indagine aperta di psicologia delle organizzazioni condotta in Lituania (n=263, 68 domande), usando 100 profili di rispondenti reali, il Psychometric Similarity Score (PSS) e modelli statistici di riferimento. Il miglior modello generativo, MiniMax M3, raggiunge un PSS di 0,813: un risultato in linea con quello di una copula gaussiana adattata soltanto sui dati di altri rispondenti (0,824) e inferiore a quello di una copula adattata sul campione stesso (0,927). Un secondo campione di 100 persone reali ottiene un punteggio inferiore a quello dei modelli migliori: con un campione di queste dimensioni, dunque, il PSS non permette di stabilire una graduatoria tra quei modelli e i rispondenti reali. In 5 linee di prodotto su 10, la versione generativa più recente ottiene un punteggio inferiore a quello di una versione precedente della stessa linea, al di là della variabilità dovuta al ricampionamento; nessuna ottiene un miglioramento che vada oltre tale variabilità. Con la modalità di lettura predefinita, che arrotonda le risposte, 13 modelli decisionali su 14 ottengono un punteggio inferiore a quello del modello generativo di riferimento gpt-5.4-mini. Tra i 47 modelli generativi, 33 riproducono la struttura delle correlazioni tra le domande meglio di qualsiasi modello decisionale. Considerando la media tra i rispondenti, i vettori di probabilità sono molto più vicini alle distribuzioni delle risposte umane per ciascuna domanda rispetto alle risposte arrotondate. Consentono inoltre di ordinare i rispondenti per punteggio più o meno altrettanto bene di una regressione basata sui profili e adattata sui dati di 163 persone reali. Tuttavia, nel prevedere le risposte di ciascuna persona, ogni modello decisionale è meno accurato delle frequenze delle risposte degli altri rispondenti, soprattutto perché il suo vettore medio differisce da tali frequenze. La regressione basata sui profili migliora la previsione rispetto a queste frequenze soltanto dell’1,0%, perciò i campi del profilo dicono poco su come risponde una persona. I rispondenti sintetici costruiti a partire da profili di questo tipo dovrebbero quindi puntare a riprodurre fedelmente il campione nel suo insieme.