SimXAI: un semplice livello facile da integrare aumenta la qualità dell’interazione e la comprensione nell’XAI conversazionale

Abstract degli autori

Gli agenti di IA spiegabile conversazionale (ConvXAI) utilizzano spesso architetture in stile GUS, con moduli separati per il riconoscimento delle intenzioni, la gestione del dialogo e la generazione di risposte basata su template. Pur essendo fedeli ai metodi XAI sottostanti, queste pipeline sono difficili da adattare e spesso faticano a gestire domande di approfondimento dipendenti dal contesto. Presentiamo SimXAI, un livello conversazionale leggero, incentrato sugli LLM, che sostituisce questi moduli con un unico LLM capace di invocare strumenti, facendo da ponte per accedere alle risorse XAI esistenti. Anziché essere un agente autonomo, SimXAI funge da interfaccia modulare che consente di accedere alle risorse XAI esterne tramite una conversazione. Introduciamo inoltre una suite di valutazione per l’analisi di richieste a turno singolo e a più turni, la fedeltà e la contestualizzazione. Su dataset esistenti e nuovi, SimXAI raggiunge un’elevata accuratezza nella selezione delle funzioni e un alto livello di fedeltà, gestendo meglio le richieste dipendenti dal contesto. In uno studio con utenti, sostituendo soltanto il livello conversazionale di TalkToModel, un agente rappresentativo basato su GUS, gli utenti hanno completato i compiti con maggiore accuratezza e in meno turni. Nel complesso, SimXAI migliora la progettazione basata su GUS, preservando la fedeltà e migliorando la qualità della conversazione.