The Pulse
ESPnet pubblica YODAS v3 con 1,1 milioni di ore di parlato
YODAS v3 contiene oltre 1,1 milioni di ore di parlato a 48 kHz, perlopiù multicanale, con licenza CC BY 3.0. L’articolo scientifico e la scheda del dataset contano le lingue in due modi diversi, e la maggior parte delle trascrizioni provien
AI.info Team · Scritto con l’IA · verificato ·
Il team di ESPnet ha annunciato domenica YODAS v3, un corpus di parlato con oltre 1,1 milioni di ore di audio, pubblicato con licenza Creative Commons Attribution 3.0 e ospitato su Hugging Face. Secondo l’annuncio, la raccolta triplica le circa 370.000 ore del primo YODAS, pubblicato quasi tre anni fa, ed è finora la più ampia della serie.
L’articolo scientifico che accompagna il rilascio, firmato da William Chen, Shinnosuke Takamichi, Sayaka Shiota, Satoru Fukayama, Samuele Cornell e Shinji Watanabe, indica come affiliazioni Carnegie Mellon University, Keio University, Tokyo Metropolitan University e il National Institute of Advanced Industrial Science and Technology del Giappone. Gli autori definiscono YODAS v3 il più grande dataset aperto di parlato mai realizzato e il primo corpus di parlato su scala davvero ampia con audio stereo ad alta fedeltà. Una nota a piè di pagina aggiunge che, dopo l’accettazione dell’articolo, il team ha rimosso i video duplicati, riducendo il totale da 1,4 milioni a 1,1 milioni di ore.
File a 48 kHz, con la larghezza di banda effettiva misurata
La stragrande maggioranza dei dataset aperti di parlato, osserva l’articolo, distribuisce audio mono a 16 kHz o 24 kHz. YODAS v3 conserva il formato in cui l’audio è stato scaricato: file OPUS multicanale a 48 kHz. Secondo l’annuncio, questo rende i dati utilizzabili non solo per il riconoscimento vocale, ma anche per la sintesi del parlato, il miglioramento dell’audio e i codec audio.
L’intestazione di un file a 48 kHz, da sola, dimostra poco. Il codec Opus decodifica sempre a 48 kHz, qualunque sia la larghezza di banda effettivamente codificata, e le registrazioni possono provenire da microfoni di computer portatili o cuffie USB con larghezza di banda limitata. Il team ha quindi stimato la larghezza di banda effettiva di ciascuna registrazione in base al suo contenuto in frequenza. Secondo l’articolo, il 67,3% dei dati ha una frequenza di campionamento effettiva di 44,1 kHz e il 92,5% supera i 32 kHz. La stima è inclusa nei metadati, così gli utenti possono selezionare i dati con la fedeltà richiesta dal loro compito.
Gli autori hanno effettuato un controllo analogo sui canali, sottraendo tra loro ciascuna coppia di canali e segnalando quelle i cui canali erano di fatto identici. Secondo l’articolo, oltre il 71% dei file audio, circa 780.000 ore, è realmente multicanale, nella stragrande maggioranza dei casi stereo. Una piccola parte ha di fatto tre o quattro canali, che il team riconduce a registrazioni con audio surround 5,1.
Due modi di contare le lingue
L’articolo assegna a ogni video una lingua in base alle impostazioni locali indicate da YouTube, usate come indicatore indiretto «a causa del costo dell’identificazione automatica della lingua su larga scala». Su questa base riporta 147 lingue, di cui 22 con oltre 10.000 ore e 73 con oltre 5.000 ore, con una media di 7.400 ore e una mediana di 5.180 ore per lingua.
La scheda del dataset su Hugging Face descrive due fonti per gli identificativi delle lingue: la lingua associata alla trascrizione di un video e le impostazioni locali di chi lo ha caricato. Il team ha scritto che nell’articolo aveva inizialmente riportato la distribuzione basata sulle impostazioni locali, ma che gli identificativi ricavati dalle trascrizioni sono «probabilmente più accurati, quando disponibili». Il download è quindi organizzato in base alla lingua della trascrizione; entrambi gli identificativi restano nei metadati e i file privi di trascrizione sono collocati in una directory «unk». La scheda e l’annuncio descrivono una copertura di oltre 100 lingue, 34 delle quali con più di 1.000 ore ciascuna.
Etichette deboli, perlopiù automatiche
L’articolo definisce YODAS v3 un corpus con etichette deboli. Secondo la scheda del dataset, circa il 75% dei dati ha trascrizioni e circa il 60% dei dati non in inglese ha traduzioni in inglese. Tutte le trascrizioni e le traduzioni hanno marcature temporali a livello di frase, e il 95% delle trascrizioni le ha anche a livello di parola. La scheda avverte che gli identificativi delle lingue sono assegnati per file e potrebbero non essere del tutto accurati per le singole frasi.
I sottotitoli realizzati da persone sono rari. Secondo l’articolo, quelli manuali rappresentano solo il 3,7% dei dati, contro il 20% in YODAS v2; le altre trascrizioni sono sottotitoli automatici di YouTube. Gli autori suggeriscono che il miglioramento della sottotitolazione automatica abbia reso meno necessari i sottotitoli manuali. Il loro crawler ha creato per ogni lingua un elenco distinto di parole chiave a partire dal relativo dump di Wikipedia, ha cercato soltanto video caricati con una licenza Creative Commons, ha privilegiato i caricamenti recenti e ha escluso tutti i video già presenti in YODAS v2, così che le due versioni possano essere combinate.
Cosa hanno mostrato i modelli di riferimento
Per verificare le trascrizioni, il team ha addestrato modelli monolingui di riconoscimento vocale su un sottoinsieme casuale di sette lingue: 4.500 ore di inglese e circa 100 ore per ciascuna delle altre sei. I modelli partivano da OWSM v4 base, con 102 milioni di parametri, e sono stati addestrati per 40.000 passi con ESPnet, poi valutati su Common Voice. I tassi di errore miglioravano quasi sempre quando venivano filtrati meno dati. Gli autori hanno scritto:
«i modelli migliori per ciascuna lingua (tranne l’inglese) sono stati addestrati senza alcun filtraggio basato sul punteggio, a dimostrazione che YODAS v3 è utilizzabile direttamente, senza preparazione aggiuntiva».
William Chen, Shinji Watanabe e coautori, articolo su YODAS v3 (Interspeech 2026)
È un risultato diverso da quello di YODAS v2, che secondo l’articolo richiedeva un filtraggio significativo per evitare addestramenti falliti con tassi di errore sulle parole superiori a 100. Il team ha anche addestrato codec audio neurali DAC su un sottoinsieme casuale di 1.200 ore a 16, 24 e 48 kHz. Tutti hanno ottenuto punteggi di intelligibilità inferiori su un set di test di YODAS v3 rispetto al set pulito LibriTTS, un risultato che gli autori attribuiscono al rumore di fondo e alla presenza di più sorgenti sonore. Secondo l’articolo, il modello a 48 kHz addestrato su YODAS v3 ha superato tutti i modelli con frequenze di campionamento inferiori e quelli addestrati su AMUSE, una raccolta di 33.000 ore di parlato, musica e suoni.
L’articolo fa parte di Interspeech 2026 e la scheda del dataset chiede a chiunque ripubblichi una parte consistente dell’audio in un nuovo dataset, benchmark o repository di citarlo.