Mind2Dialogue: addestrare modelli linguistici attenti alle persone simulando gli stati mentali degli utenti

Abstract degli autori

Man mano che i modelli linguistici diventano più capaci, la collaborazione a lungo termine nell’apprendimento, nel ragionamento e nel processo decisionale richiede una comprensione più profonda delle persone che assistono. Tuttavia, l’addestramento di modelli linguistici attenti alle persone si scontra con una lacuna fondamentale nei dati di supervisione: gli attuali dataset per l’addestramento degli assistenti basati su LLM contengono poche risposte ben informate, se non nessuna, esplicitamente fondate sulle convinzioni e sugli obiettivi non espressi degli utenti. Ampliare questa forma di supervisione è intrinsecamente difficile, perché gli stati mentali sottostanti degli utenti non sono direttamente osservabili. Proponiamo quindi il framework Mind2Dialogue per colmare questa lacuna simulando gli stati mentali degli utenti e trasformandoli in una supervisione privilegiata per l’addestramento di modelli attenti alle persone. In particolare, proponiamo anzitutto un simulatore guidato dalla psicologia che preserva le caratteristiche personali e aggiorna gli stati mentali attraverso l’interazione, così da generare conversazioni coerenti. L’idea centrale è imporre uno stato mentale condiviso e in evoluzione che orienti il comportamento dell’utente e guidi le risposte di un assistente Oracle. La nostra distillazione privilegiata addestra poi i modelli sulle risposte ben informate di Oracle, affinché possano assistere gli utenti senza avere accesso diretto ai loro stati mentali al momento dell’impiego. Proponiamo inoltre di valutare l’apprendimento attento alle persone combinando personalizzazione e teoria della mente, per esaminare in che modo i modelli comprendano le persone e agiscano sulla base di tale comprensione. L’addestramento sull’intero corpus Mind2Dialogue migliora tutte le metriche di personalizzazione riportate rispetto ai corrispondenti modelli di riferimento Qwen, Llama e OLMo sottoposti a instruction tuning, con incrementi compresi tra 26,6 e 40,9 punti percentuali nella generazione conforme alle preferenze. I miglioramenti si estendono anche al ragionamento su convinzioni e azioni nei modelli Qwen e Llama, oltre l’assistenza personalizzata. In prospettiva, Mind2Dialogue pone la simulazione degli utenti alla base di autentici collaboratori basati sull’IA, capaci di comprendere le convinzioni e le intenzioni dietro le parole delle persone e di sostenerne gli obiettivi a lungo termine nell’istruzione, nel lavoro e nella vita quotidiana.