$τ$-Emotion-Bench: le emozioni degli utenti nel mondo reale mettono in luce la fragilità degli agenti LLM nelle interazioni

Abstract degli autori

Nei compiti di lunga durata che richiedono l’uso di strumenti, gli agenti LLM possono fallire non solo per errori nell’uso degli strumenti, ma anche perché interagiscono in modo inefficace con gli utenti. Eppure i benchmark esistenti presuppongono in larga misura utenti collaborativi e dal comportamento stabile, lasciando poco studiato l’effetto delle variazioni emotive sull’affidabilità degli agenti. Presentiamo $τ$-Emotion-Bench, un benchmark che copre dieci ambiti e valuta gli agenti che usano strumenti in interazioni controllate con utenti, condizionate dalle loro emozioni, mantenendo invariato l’obiettivo del compito. Per rendere scalabili sia la costruzione del benchmark sia l’addestramento degli agenti, presentiamo Tracer, una pipeline scalabile di generazione di dati basata su agenti, che costruisce compiti ancorati al contesto e conformi alle policy e raccoglie traiettorie tramite un sistema interattivo che integra agente, utente e ambiente. Consentendo agli utenti insoddisfatti di interrompere le interazioni inefficienti, il sistema fornisce un segnale sensibile alla qualità dell’interazione, che filtra le traiettorie caratterizzate da un’eccessiva dipendenza dall’utente e favorisce un uso efficace degli strumenti. Esperimenti con due simulatori di utenti mostrano che gli agenti all’avanguardia restano inaffidabili, con divari considerevoli tra il tasso medio di successo nei compiti e il loro completamento sistematico. L’addestramento supervisionato con i dati generati da Tracer migliora costantemente i modelli Qwen3 di diverse dimensioni, generalizza ad ambiti mai incontrati e si trasferisce a $τ$-Bench e $τ$-Trait. Le analisi del comportamento mostrano inoltre che un maggiore successo nei compiti è associato a un migliore equilibrio tra l’esecuzione tramite strumenti e le necessarie interazioni successive con l’utente. Nel complesso, $τ$-Emotion-Bench e Tracer offrono un quadro scalabile per valutare l’affidabilità degli agenti di fronte a diversi comportamenti degli utenti e per migliorare gli agenti che usano strumenti attraverso un addestramento supervisionato attento alle interazioni.