TauIndianBankBench: valutazione degli agenti conversazionali che usano strumenti, orientata alle azioni e attenta alle procedure

Abstract degli autori

Molte banche indiane assistono i clienti attraverso pagine di domande frequenti e chatbot basati su script. Gli assistenti basati su modelli linguistici potrebbero rispondere più rapidamente ed eseguire richieste come il blocco di una carta, ma solo se forniscono informazioni corrette e rispettano le regole della banca. Queste regole prescrivono una procedura, ossia una serie di passaggi obbligatori, come ottenere un preventivo di chiusura prima di chiudere un deposito. Per adattare i modelli a questo ambito è necessario misurare quanto bene seguono la procedura, prima e dopo l’addestramento. I benchmark di solito valutano soltanto le registrazioni risultanti alla fine di una conversazione. Molti passaggi obbligatori, tuttavia, non modificano le registrazioni, quindi un assistente che li salta può comunque essere giudicato efficace. Presentiamo TauIndianBankBench, un benchmark orientato alle azioni composto da 1.000 compiti bancari per clienti privati in India, nei quali un assistente aiuta un cliente simulato. Oltre alle registrazioni finali, il benchmark verifica che l’assistente abbia eseguito ogni passaggio obbligatorio e non abbia apportato modifiche non richieste. Per ogni modello, dal 6,5 al 12,0% delle sessioni viene giudicato riuscito quando si controllano soltanto le registrazioni finali, benché l’assistente abbia saltato un passaggio obbligatorio o apportato una modifica non richiesta. Valutare sia la procedura sia il risultato mostra con maggiore precisione quanto bene i modelli linguistici operino nell’ambito dei servizi bancari per clienti privati in India.