MADS: simulazione del dialogo multi-agente per agenti conversazionali robusti

Abstract degli autori

Gli agenti conversazionali orientati al compito restano fragili in condizioni realistiche, soprattutto quando gli utenti adottano comportamenti non collaborativi. Gli attuali benchmark per la chiamata di funzioni rappresentano in modo insufficiente le traiettorie di conversazione avversarie, limitando così le risorse di addestramento disponibili per sviluppare agenti robusti. Presentiamo MADS (Multi-Agent Dialog Simulation), una pipeline per la generazione di dati sintetici che produce traiettorie di dialogo strutturate e diversificate. Introduciamo conversazioni avversarie, generando traiettorie di conversazione convalidate che riproducono percorsi problematici realistici. Con MADS costruiamo MADS-Bench: un benchmark che copre sei domini, 55 personas e 1.095 conversazioni, di cui circa il 66% contiene scenari di conversazione a rischio di fallimento. Valutiamo la robustezza dei modelli addestrati con un approccio di addestramento in due fasi, che combina il fine-tuning supervisionato (SFT) e l’apprendimento per rinforzo con ricompense verificabili (RLVR).