Convinzioni implicite come ricompense di processo scalabili per la persuasione strategica

Abstract degli autori

L’addestramento dei modelli linguistici di grandi dimensioni (LLM) alla persuasione strategica su più turni presenta due ostacoli interconnessi: (i) simulare realisticamente interlocutori da persuadere modellati su basi psicologiche e (ii) fornire una supervisione densa e fedele per attribuire il merito delle mosse nei dialoghi strategici. Le ricompense basate solo sull’esito sono sporadiche e non indicano quali mosse conversazionali abbiano determinato il successo; quelle di processo assegnate da LLM usati come giudici sono invece costose e scollegate dalle dinamiche dell’interazione. Affrontiamo entrambi i problemi con un quadro unificato. Anzitutto presentiamo PersuArena, un ambiente di simulazione della persuasione che produce traiettorie realistiche e non monotone. Poi, basandoci direttamente su questo ambiente, proponiamo Process Rewards via Online Belief Elicitation for Relative Policy Optimization (Probe-RPO), un quadro di apprendimento per rinforzo online che trasforma lo stato interno dell’interlocutore da persuadere in ricompense di processo dense. A ogni turno, dai logit del modello invariato dell’interlocutore da persuadere vengono ricavate le risposte a tre sonde introspettive, ottenendo un segnale di ricompensa multidimensionale fedelmente allineato alle dinamiche della persuasione. Attraverso numerosi esperimenti condotti su PersuArena in ambiti che comprendono la sanità, la consulenza finanziaria, la gestione del personale, l’istruzione e le relazioni personali, dimostriamo che Probe-RPO raggiunge un tasso di piena accettazione del 52,5%, contro il 35,8% della migliore variante GRPO nell’analisi di ablazione e il 25,8% del migliore LLM pronto all’uso. Conduciamo inoltre analisi approfondite della generalizzazione tra modelli degli interlocutori da persuadere e delle dinamiche della persuasione nel corso delle conversazioni. Il nostro lavoro propone un paradigma promettente per fornire una supervisione di processo efficace nei dialoghi strategici.