Population Fidelity: valutare la rappresentatività della popolazione nei modelli linguistici di grandi dimensioni

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) mostrano un notevole potenziale nel simulare atteggiamenti e preferenze umane. Studi precedenti rilevano che le risposte generate dagli LLM possono comprimere la gamma di atteggiamenti presenti nelle popolazioni e rappresentare in modo inesatto determinati sottogruppi, con risultati che variano a seconda dei modelli e degli argomenti. Presentiamo Population Fidelity, un quadro di valutazione che distingue le condizioni fondamentali perché un insieme di risposte generate dagli LLM rappresenti una popolazione. Comprende tre dimensioni: l’accuratezza a livello di gruppo, l’entità della variazione tra i gruppi e la struttura di tale variazione. Ne dimostriamo l’utilità in due modi. Innanzitutto, replichiamo uno studio precedente sulla «distorsione delle macchine» nelle risposte degli LLM ai sondaggi e applichiamo il quadro ai modelli esaminati nello studio e a modelli più recenti. Mostriamo così che una rappresentazione inadeguata dipende non solo da una variazione insufficiente tra i gruppi, ma anche dall’attribuzione della variazione ai gruppi sbagliati. In secondo luogo, valutiamo un approccio proposto per migliorare la rappresentatività della popolazione nei modelli: il fine-tuning culturale. Rileviamo che il fine-tuning culturale può migliorare l’allineamento con il centro delle risposte al sondaggio senza migliorare la rappresentazione delle differenze all’interno della popolazione, una distinzione che le misure di concordanza aggregata non colgono. Sosteniamo che, per rappresentare una popolazione, i modelli debbano riprodurre simultaneamente diverse caratteristiche della variazione degli atteggiamenti umani. Il nostro quadro organizza queste caratteristiche e mette a disposizione codice riutilizzabile, dati e modelli addestrati per valutare la fedeltà alla popolazione in diversi ambiti tematici e valutare i metodi di allineamento proposti.