PACE: far emergere i conflitti nascosti nelle richieste degli utenti

Abstract degli autori

Gli assistenti personalizzati non dovrebbero limitarsi a soddisfare le richieste degli utenti, ma anche valutare se siano appropriate alla luce della loro situazione attuale. Gli studi precedenti, tuttavia, si sono concentrati soprattutto sull’esecuzione accurata delle richieste, trascurando la necessità che gli assistenti tengano conto del contesto e rifiutino le richieste in caso di conflitto. Inoltre, mentre gli studi esistenti sul rilevamento dei conflitti o dei rischi per la sicurezza si basano su fattori forniti esplicitamente, gli scenari reali spesso implicano fattori non espliciti che devono essere recuperati da una base di conoscenza (KB). A questo scopo presentiamo Personalized Assistants for Conflict Evaluation (PACE), un dataset per valutare se i modelli siano in grado di individuare vincoli latenti, espressi sotto forma di conoscenze o eventi egocentrici, che rendono inappropriate richieste degli utenti apparentemente ragionevoli. PACE associa richieste degli utenti basate su profili ben definiti a fatti egocentrici contenuti nella KB, richiedendo ai modelli di integrare le informazioni contestuali per stabilire se una richiesta sia in conflitto con esse. In questo scenario, in cui le informazioni devono essere recuperate implicitamente, è più difficile collegare direttamente le richieste degli utenti alle conoscenze che generano il conflitto; per i modelli esistenti diventa quindi difficile individuare i fatti pertinenti relativi a un determinato utente. Per affrontare questa difficoltà proponiamo inoltre PaceMaker, un framework multi-agente in cui agenti specializzati coordinano la riformulazione delle query, l’attraversamento del grafo a più passaggi e il filtraggio sensibile ai conflitti per recuperare le informazioni contestuali decisive. Gli esperimenti su PACE valutano sia la qualità del recupero delle informazioni sia l’accuratezza delle decisioni sui conflitti, mostrando che PaceMaker supera sistematicamente gli approcci esistenti.