The Pulse

Humyn Labs mette alla prova 23 modelli ASR con il parlato sovrapposto

Il benchmark BRIDGE ASR 2.0 di Humyn Labs valuta 23 modelli commerciali di riconoscimento vocale su conversazioni spontanee con parlato sovrapposto, in 21 lingue e secondo sei metriche.

AI.info Team · Scritto con l’IA · verificato · 2026-09-17

Humyn Labs ha pubblicato BRIDGE ASR 2.0, un benchmark che mette alla prova 23 modelli commerciali di riconoscimento vocale con il tipo di audio che i test di laboratorio condotti in condizioni ottimali spesso evitano: conversazioni spontanee tra due persone, rumore di fondo, code-switching, lunghe pause e persone che parlano contemporaneamente.

La citazione del benchmark lo identifica come un rapporto del settembre 2026. Valuta i modelli su registrazioni di conversazioni reali, anziché su dettati di una sola persona. La sua classifica ordina i sistemi secondo sei misure, tra cui il tasso di errore sulle parole, la similarità semantica, il code-switching e la perdita di informazioni sulle parole.

Il benchmark è progettato per verificare se i sistemi di riconoscimento vocale riescano a preservare informazioni utili quando le persone non parlano alternandosi in turni ordinati e distinti.

BRIDGE usa le conversazioni anziché i dettati

Ogni registrazione del benchmark presenta due interlocutori che parlano effettivamente in sovrapposizione. Le conversazioni durano da 10 a 15 minuti e sono state registrate a 44–48 kHz in ambienti acustici quotidiani. L’azienda presenta il dataset come un test del riconoscimento in streaming e della separazione degli interlocutori, due compiti che possono fallire quando le voci si sovrappongono.

Il campione comprende 18 lingue indiane, oltre a spagnolo latinoamericano, portoghese brasiliano e vietnamita. Humyn Labs etichetta le registrazioni secondo sette dimensioni di classificazione, consentendo agli utenti di confrontare i risultati per lingua, regione, silenzio, comportamento conversazionale e altre condizioni, anziché affidarsi a un’unica media complessiva.

Il sistema di sei metriche combina il tasso di errore sulle parole, il tasso di errore sui caratteri, la similarità semantica, l’F1 del code-switching, il tasso di errore basato sui fonemi e la perdita di informazioni sulle parole. L’azienda distingue anche tra sostituzioni, omissioni e inserimenti. La distinzione è importante: un modello può interpretare male una parola, omettere un intero segmento o aggiungere parole mai registrate, producendo comunque tassi di errore complessivi simili.

ElevenLabs guida i risultati per le lingue indiane

ElevenLabs Scribe v2 occupa il primo posto nella classifica del rapporto per le lingue indiane, con un tasso di errore sulle parole corretto per i prestiti linguistici del 10,99%. Segue Soniox stt-async-v4 al 16,32%, con un divario di 5,3 punti percentuali. Secondo Humyn Labs, Scribe v2 si classifica primo in 14 delle 18 lingue indiane testate.

Il divario è molto più ampio nelle posizioni inferiori della classifica. I sei modelli con i risultati peggiori per le lingue indiane registrano tassi di errore corretti per i prestiti linguistici compresi tra il 70,77% e l’88,03%. GPT-4o e GPT-4o mini di OpenAI si collocano vicino al fondo della classifica pubblicata, mentre AssemblyAI Universal, Universal 2 e Universal 3 Pro si trovano al di sotto di loro.

I risultati sono più ravvicinati nel gruppo delle lingue con scrittura latina. Scribe v2 registra un WER del 4,83% per spagnolo, portoghese e vietnamita, contro l’8,14% di Microsoft MAI Transcribe 1.5. L’intervallo complessivo va dal 4,83% al 22,10%: quando più sistemi producono trascrizioni utilizzabili, latenza, prezzi e copertura linguistica restano quindi fattori significativi per la scelta di quale adottare.

I lunghi silenzi causano più danni dell’alternanza rapida dei turni

Uno dei risultati più evidenti di BRIDGE riguarda il silenzio. A parità di lingua e modello, le chiamate con pause superiori a 20 secondi mostrano una perdita media di 5,05 punti nell’accuratezza corretta per i prestiti linguistici. L’alternanza rapida dei turni produce una penalizzazione media inferiore, pari a 1,33 punti.

La tendenza emerge nella maggior parte dei modelli utilizzabili testati. Google Chirp 3 perde 13,22 punti con i lunghi silenzi, contro i 6,69 punti persi con il parlato rapido. Gemini 2.5 Pro perde 10,87 punti a causa delle lunghe pause e 2,16 punti a causa della velocità, mentre Scribe v2 perde rispettivamente 7,50 e 0,79 punti.

Humyn Labs attribuisce il probabile problema alla segmentazione, piuttosto che al riconoscimento di base. Le lunghe pause sono concentrate nel marwari, che è già la lingua più difficile del gruppo indiano. Senza controllare per la lingua, la penalizzazione apparente dovuta al silenzio sale a 16,33 punti, sovrastimando l’effetto del solo silenzio.

Il code-switching mette in luce un secondo divario di qualità

BRIDGE misura anche se i sistemi preservano le parole inglesi inserite nel parlato in lingue indiane. Humyn Labs sostiene che il WER ordinario può nascondere una differenza importante: un modello può conservare il termine inglese ma scriverlo in una grafia locale, oppure eliminarlo del tutto.

ElevenLabs Scribe v2 guida la classifica per il code-switching con un punteggio CS F1 di 0,897, seguito da Gemini 3 Pro a 0,891 e Gemini 3 Flash a 0,886. AssemblyAI Universal registra 0,157, collocandosi nella categoria del rapporto relativa al code-switching assente. Tra i modelli, 15 ottengono almeno 0,7, mentre sette si collocano tra 0,2 e 0,7, afferma Humyn Labs.

Il benchmark distingue tra grafia non corrispondente e parole mancanti. Sarvam saarika v2.5, Sarvam saaras v3, AWS Transcribe, Google Chirp 3 e Soniox presentano penalizzazioni dovute alla grafia, pur mantenendo una precisione nel code-switching di circa il 90–95%. Humyn Labs descrive il problema come potenzialmente risolvibile mediante un confronto che tenga conto della traslitterazione; una parola che scompare del tutto non può essere recuperata allo stesso modo.

Un benchmark per decidere a quale modello indirizzare i dati

I risultati di BRIDGE mettono in discussione l’utilità di un’unica classifica universale. Le differenze tra i file spiegano il 36,1% della variazione dell’errore corretto per i prestiti linguistici tra i modelli utilizzabili per le lingue indiane, riferisce Humyn Labs, contro il 25,0% attribuibile alla lingua e il 14,6% al modello stesso. La correlazione mediana a coppie tra i punteggi dei modelli è 0,42, il che suggerisce che i sistemi hanno spesso difficoltà con registrazioni diverse.

Il set di valutazione, che comprende file audio, trascrizioni di riferimento, metadati sugli interlocutori, etichette delle coorti e script di valutazione, è disponibile tramite la pagina del benchmark. Sono in preparazione altre lingue e un corpus incentrato sul parlato sovrapposto. Per gli sviluppatori che realizzano sistemi di trascrizione delle chiamate, interfacce vocali o sistemi vocali per dispositivi fisici, il valore immediato non consiste semplicemente nell’identificare un vincitore: sta nel vedere se un modello omette o inventa parole, gestisce male il silenzio o perde i termini inglesi di cui ha bisogno il software a valle.