IndicBankBench: valutare la sicurezza e l’affidabilità degli assistenti basati su modelli linguistici nel settore bancario al dettaglio indiano

Abstract degli autori

Gli assistenti bancari devono usare informazioni specifiche sul conto per rispondere alle richieste e, in molti casi, eseguire operazioni tramite strumenti. Valutare soltanto la risposta finale significa non rilevare errori importanti. Un assistente può chiedere informazioni che già possiede, basarsi su un contesto non aggiornato, selezionare il conto sbagliato o scrivere un valore non valido dopo aver indicato quello corretto. Presentiamo IndicBankBench, un benchmark di 799 casi per il settore bancario al dettaglio indiano che comprende cinque ambiti operativi, un ambito relativo alle capacità e al rifiuto delle richieste, e venti assi principali. I casi sono valutati in quattro fasi: sicurezza, azioni e uso degli strumenti, adeguatezza della risposta e qualità della consulenza. La valutazione dell’uso degli strumenti e la maggior parte dei controlli di sicurezza sono deterministici. Un componente di risoluzione circoscritto gestisce soltanto i casi ambigui che richiedono una conferma prima della scrittura, mentre un valutatore LLM separato esamina l’adeguatezza semantica della risposta. Eseguiamo ogni caso tre volte e riportiamo il criterio rigoroso pass^3, che richiede il successo in tutte le prove. Negli undici modelli valutati, l’affidabilità secondo questo criterio varia dal 43,7% al 58,2%, mentre il successo in almeno una prova varia dal 60% al 74%. Questo divario mostra che il successo in almeno una prova può far apparire il comportamento degli assistenti bancari più affidabile di quanto sia. Le analisi diagnostiche dei singoli casi distinguono inoltre i sistemi che pongono domande superflue da quelli che agiscono ma non riescono a tenere conto del contesto del cliente o a soddisfare completamente la richiesta. Rendiamo disponibili i casi, l’ambiente simulato e l’infrastruttura di valutazione.