Vai al contenuto
AI.info

The Pulse

Artificial Analysis classifica l’attribuzione dei parlanti in un nuovo benchmark

Il Diarization Index misura quanto spesso le API di conversione da parlato a testo attribuiscono le parole al parlante sbagliato o non le rilevano. Secondo Artificial Analysis, Nemotron 3.5 Transcribe di NVIDIA è in testa ai risultati iniziali.

Artificial Analysis classifica l’attribuzione dei parlanti in un nuovo benchmark

In un nuovo benchmark di Artificial Analysis, le API di conversione da parlato a testo possono ora essere confrontate in base alla frequenza con cui attribuiscono le parole alla persona giusta. Nei risultati iniziali è in testa Nemotron 3.5 Transcribe di NVIDIA, con un tasso di errore del 3,3%, seguito da Voxtral Small Transcribe 3 al 7,5%, ha dichiarato la società nell’annuncio del 13 novembre.

Il Diarization Index valuta l’attribuzione dei parlanti in 97 conversazioni in inglese con da due a otto persone. Si affianca ai confronti già esistenti della società su accuratezza della trascrizione, velocità e prezzo nella sua classifica delle API di conversione da parlato a testo non in streaming.

Come funziona il punteggio

L’indice usa il tasso di errore di diarizzazione delle parole, o WDER: il numero di parole di riferimento conteggiate attribuite al parlante sbagliato o non rilevate, diviso per il numero totale di parole di riferimento conteggiate. Un punteggio più basso è migliore.

Le conversazioni sono suddivise in fasce con due, da tre a quattro e da cinque a otto parlanti. L’indice principale è la media con uguale peso dei tassi di errore di queste tre fasce, anziché un unico tasso aggregato su tutte le conversazioni.

Il test interroga ciascuna API con la diarizzazione attivata, senza indicarle quante persone stanno parlando. Le conversazioni durano complessivamente circa 6,8 ore.

Risultati per dataset

La classifica riporta anche separatamente i risultati per AA-Diarization, le conversazioni in inglese tenute da parte da Artificial Analysis, che includono parlato reale e sintetico. Una vista separata riguarda le riunioni NOTSOFAR-1 incluse nell’insieme dell’indice.

Il risultato di NOTSOFAR-1 è limitato alle riunioni incluse nell’insieme dell’indice, anziché alle riunioni separate in sala condivisa. A differenza dell’indice principale, il risultato di ciascun dataset aggrega le parole attribuite al parlante sbagliato e quelle non rilevate tra le parole di riferimento conteggiate, senza ponderarle in base alla fascia di parlanti.

La classifica comprendeva 23 API, con Voxtral Small Transcribe 3 di Mistral al secondo posto. Universal di AssemblyAI e Muse Voice Transcribe di Meta hanno ottenuto entrambe l’8,6%, seguite da MAI-Transcribe-2 di Microsoft all’8,8%, secondo il riepilogo di IA Compa sulla classifica.

Accanto ai test di trascrizione

La diarizzazione misura una componente diversa dell’output di un sistema di trascrizione rispetto al tasso di errore sulle parole. Quest’ultimo confronta le parole prodotte da un modello con una trascrizione di riferimento, contando sostituzioni, inserimenti e cancellazioni.

Separatamente, l’Artificial Analysis Word Error Rate Index esistente usa tre dataset, ponderati in base alla durata dell’audio. La sua classifica non in streaming offre anche confronti tra punteggi di diarizzazione, prezzo e velocità, oltre a viste sulla velocità e sul prezzo della diarizzazione.

La misura del prezzo nella classifica è un costo stimato in USD per 1.000 minuti di audio, normalizzato in base ai modelli di fatturazione dei fornitori. Il fattore di velocità misura i secondi di file audio trascritti per secondo di tempo di elaborazione; la classifica afferma che i valori riportati sono mediane calcolate sulle prove del benchmark degli ultimi sette giorni.

Fonti

Notizie correlate

Esplora

Altri articoli