VoxLock: estrazione del parlante target per agenti vocali senza fase di registrazione

Abstract degli autori

Il riconoscitore vocale di un agente vocale trascrive le parole di chiunque si trovi vicino al microfono, comprese quelle di persone diverse dal chiamante. Ho sottoposto a fine-tuning un modello pubblico causale di estrazione del parlante target (REAL-TSE, 27 milioni di parametri), usando una sola GPU, perché funzionasse a partire da un campione vocale estratto dalla chiamata stessa, e l’ho rilasciato con il nome VoxLock. Lo valuto in base a ciò che un riconoscitore trascrive da registrazioni reali. Sul benchmark di Krisp composto da 265 registrazioni, raggiunge un WER del 4,95%, contro il 23,21% senza elaborazione, e lascia entrare nella trascrizione 9 parole di sottofondo in 85 minuti di parlato composto solo da voci di sottofondo. Il suo WER non è significativamente diverso da quello dei migliori filtri di Krisp ed è significativamente inferiore a quello degli altri sistemi commerciali e open che ho testato. Su 400 finestre di riunioni AMI, create e congelate prima della valutazione, riduce il WER dal 42,95% al 10,63%. Il modello a 8 bit gestisce una chiamata in diretta utilizzando il 77% di un singolo thread della CPU, con una latenza algoritmica di 24 ms. Il modello, il codice e i punteggi per file sono disponibili pubblicamente.