Cross-Centaur: modellare le decisioni individuali in diversi compiti psicologici con i modelli linguistici

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) sono sempre più utilizzati come modelli computazionali del comportamento umano. Modelli recenti come Centaur hanno fatto avanzare questo obiettivo grazie al fine-tuning degli LLM sulle decisioni prese prova per prova in esperimenti psicologici. Tuttavia, gli attuali dataset comportamentali su larga scala non collegano gli stessi partecipanti tra compiti diversi: questi modelli apprendono quindi regolarità a livello di popolazione, ma non vengono addestrati a modellare quelle dei singoli individui attraverso più compiti. Presentiamo Cross-Psych-101, un dataset che comprende 591 partecipanti e 261{,}551 decisioni valide in 12 compiti delle categorie Bandit, Tradeoff, Structure e Social. Addestriamo Cross-Centaur a prevedere le azioni di un partecipante in un compito bersaglio a partire dalla descrizione di quel compito e dalla descrizione di un compito di partenza, associata al comportamento dello stesso partecipante nel compito di partenza. Cross-Centaur supera gli LLM pronti all’uso e Centaur nelle previsioni relative a partecipanti esclusi dall’addestramento, sia all’interno dei singoli compiti sia tra compiti diversi. Le analisi degli stati interni suggeriscono che questi codifichino tendenze comportamentali dei singoli partecipanti trasferibili tra compiti. Questi risultati evidenziano il potenziale dei dati sui singoli individui raccolti attraverso più compiti per prevedere le decisioni umane con i modelli linguistici. Cross-Pysch-101 è disponibile all’indirizzo https://huggingface.co/datasets/HikaruAsano/cross-psych-101.