The Pulse
David AI rileva un divario di accuratezza ASR sette volte maggiore tra le lingue
David AI ha pubblicato DAI-ASR-I18N, un benchmark che mette alla prova 14 sistemi vocali su registrazioni di conversazioni in 21 lingue. I risultati mostrano differenze tra i sistemi molto più ampie in cinque lingue indiane che in inglese,
AI.info Team · Scritto con l’IA ·
Nel nuovo benchmark di David AI, i sistemi di riconoscimento vocale presentano una differenza media di 25,4 punti percentuali tra cinque lingue indiane: quasi sette volte i 3,7 punti rilevati tra inglese, coreano, mandarino, spagnolo e russo. L’azienda ha pubblicato DAI-ASR-I18N il 30 settembre, con i risultati di 14 sistemi messi alla prova su conversazioni spontanee in 21 lingue.
Il risultato mette in discussione l’affidabilità dei confronti condotti solo sull’inglese: sistemi con prestazioni simili in inglese possono mostrare differenze marcate in altre lingue. La valutazione di David AI rileva inoltre che la sovrapposizione delle voci aumenta gli errori sia nella trascrizione sia nell’identificazione dei parlanti, un problema persistente nelle registrazioni in cui le persone si interrompono o parlano contemporaneamente.
Che cosa misura il benchmark di 147 ore
David AI ha costruito il benchmark a partire da 147 ore di conversazioni tra coppie di parlanti madrelingua. I partecipanti hanno discusso di argomenti aperti in sessioni della durata di circa 15 minuti. Ogni parlante è stato registrato su un canale separato e sincronizzato, così che le stesse registrazioni potessero essere usate sia per il riconoscimento automatico del parlato (ASR) sia per la diarizzazione, cioè l’identificazione di chi ha parlato e quando.
A differenza delle trascrizioni che omettono le esitazioni, il benchmark conserva intercalari, ripetizioni e false partenze. David AI afferma che ogni trascrizione è stata esaminata da due annotatori umani e da un esperto della lingua. La valutazione comprende circa due ore pubbliche e cinque ore private per lingua; l’insieme privato, con parlanti distinti, non viene distribuito per limitare la contaminazione della classifica.
Microsoft guida la trascrizione sull’insieme pubblico
David AI ha messo alla prova otto sistemi commerciali e sei modelli a pesi aperti nei compiti supportati da ciascuno. Sull’insieme di valutazione pubblico, MAI-Transcribe-2 di Microsoft AI ha registrato il tasso di errore di trascrizione più basso in 18 delle 21 lingue ed è rimasto sotto il 10% di errori in 16. Scribe v2 di ElevenLabs ha guidato nelle altre tre lingue, compreso l’inglese, ed è sceso sotto il 10% di errori in 10 lingue.
L’azienda avverte che i punteggi andrebbero confrontati soprattutto all’interno di ciascuna lingua. Per la maggior parte delle lingue usa il tasso di errore sulle parole, ma per mandarino, giapponese, coreano e thailandese usa quello sui caratteri; a causa delle differenze nei sistemi di scrittura e nella delimitazione delle parole, lo stesso punteggio può corrispondere a quantità diverse di errori da una lingua all’altra. Secondo i risultati di David AI, le differenze più ampie tra i sistemi si registrano in bengalese, hindi, marathi, tamil e telugu.
I modelli dedicati alla diarizzazione ottengono risultati migliori
Nella diarizzazione, i modelli dedicati hanno superato tutti i sistemi che combinano trascrizione e attribuzione delle battute ai parlanti. I sistemi dedicati hanno registrato tassi di errore di diarizzazione aggregati compresi tra il 18,8% e il 25,8%, contro il 32,8%-44,3% dei sistemi combinati. Nel confronto di David AI, NVIDIA Nemotron 3 Diarization è risultato primo in quasi tutte le lingue.
Il compito è diventato più difficile quando entrambi i parlanti parlavano contemporaneamente. David AI segnala che, per ogni sistema testato, gli errori di diarizzazione più elevati si verificano nelle registrazioni con un’elevata sovrapposizione delle voci. La fascia con elevata sovrapposizione comprende però solo 15 registrazioni, un campione ridotto che l’azienda segnala nella propria analisi.
«Sia nel riconoscimento vocale sia nella diarizzazione, ogni sistema commette il maggior numero di errori quando i parlanti si parlano sopra.»
David AI
L’accesso prevede limitazioni
David AI pubblica il codice di valutazione, gli adattatori per l’inferenza, gli strumenti di calcolo dei punteggi e i normalizzatori specifici per lingua sotto MIT License. Le registrazioni audio pubbliche, le trascrizioni e le marcature temporali a livello di parola sono disponibili per la ricerca non commerciale previo accordo di download; l’insieme di test privato non viene distribuito. L’uso commerciale del dataset richiede una licenza separata rilasciata dall’azienda.
Il benchmark presenta limiti importanti per interpretarne le classifiche. Si concentra su conversazioni tra due parlanti registrati con microfoni separati, una configurazione che può fornire ai sistemi di diarizzazione indizi non disponibili nelle registrazioni effettuate con un solo microfono o nelle discussioni tra gruppi più numerosi. David AI osserva inoltre che molte lingue con meno risorse non sono incluse e che i risultati specifici per lingua riflettono, oltre alla lingua stessa, differenze tra i parlanti e nelle condizioni di registrazione.