Basta addestrarsi con utenti troppo accondiscendenti: self-play avversario con mentalizzazione per il dialogo proattivo

Abstract degli autori

Gli agenti di dialogo proattivi devono guidare interazioni a più turni verso gli obiettivi del compito, adattandosi a utenti le cui intenzioni e i cui atteggiamenti cambiano. I pianificatori esistenti migliorano la selezione delle azioni da parte del sistema attraverso la ricerca, politiche apprese o una pianificazione che tiene conto dell’utente, ma spesso sono addestrati e valutati con simulatori fissi o eccessivamente accondiscendenti. Di conseguenza, un’elevata percentuale di successi nelle simulazioni può riflettere una distorsione dovuta a utenti troppo accondiscendenti, anziché una solida capacità di dialogo. Presentiamo MASP, un framework di self-play avversario con mentalizzazione che tratta il dialogo proattivo come un gioco parzialmente osservabile tra un sistema e un utente che oppone una resistenza razionale. MASP rappresenta lo stato mentale mutevole dell’utente mediante uno stato latente basato su BDI, distingue la mentalizzazione del teacher sul versante della ricompensa da quella dello student sul versante della politica e alterna gli aggiornamenti tramite self-play delle politiche del sistema e dell’utente. In questo modo, la robustezza di fronte alla resistenza razionale diventa un obiettivo dell’addestramento, anziché soltanto una condizione di valutazione. Su diversi benchmark di dialogo proattivo, rispetto agli approcci ampiamente utilizzati SFT e Planner-only, MASP migliora sensibilmente il tasso di successo (SR) e il successo vincolato alla razionalità (RCSR), riduce il numero medio di turni (AT) e ottiene risultati migliori con utenti difficili, che rendono più arduo raggiungere l’obiettivo del compito.