Quasi umano, tranne quando conta: VoxParity e le decisioni che una voce dovrebbe cambiare

Abstract degli autori

Un agente vocale può gestire quasi tutte le chiamate basandosi solo sulle parole e fallire proprio nelle poche situazioni per cui sono state scritte le regole del suo settore. Gli standard per le chiamate d’emergenza, le indicazioni contro le frodi, la fraseologia radio e le norme sulla vulnerabilità riconoscono che il modo in cui parla chi chiama, o ciò che si sente in sottofondo, può cambiare l’azione corretta. VoxParity verifica se gli agenti agiscono di conseguenza. In 183 scenari tratti da 14 settori, la trascrizione resta invariata mentre cambia l’audio (una voce che suggerisce cosa dire, il segnale acustico di un monitor medico, un mayday durante una prova radio, rumore che copre il nome di un farmaco, la voce di un bambino che piazza una scommessa, un sussurro impaurito) e, con l’audio, cambia la corretta chiamata tipizzata a uno strumento. Un test nullo basato sulle sole parole riconosce un risultato positivo a un sistema solo se l’ascolto della chiamata ne modifica le azioni più di quanto modifichi quelle di una pipeline che legge soltanto le parole. Superano il test solo 11 dei 23 sistemi che possono essere eseguiti anche sulla trascrizione. Sul piano descrittivo, gli errori tendono a seguire le parole: quando l’audio richiede un intervento di tutela, tutti i 28 sistemi eseguono la richiesta ordinaria più spesso di quanto reagiscano eccessivamente alle chiamate prive di quei segnali (41% contro 12% nei dati aggregati; per la pipeline basata sulle sole parole, 58% contro 15%). Le analisi esplorative indicano che la maggior parte degli errori dei sistemi migliori riguarda segnali che avevano sentito; i sistemi superano il test nullo quasi esclusivamente nei casi in cui la regola è esplicitata; i sistemi migliori ignorano la rassegnazione o la confusione percepite nell’audio molto più spesso di un allarme acuto; e, nei modelli esaminati, descrivere la voce ed esplicitare la regola colmano ciascuno parte del divario, lasciando una lacuna per quanto riguarda le emozioni.