The Pulse
Basis pubblica 525 ore di parlato espressivo in 108 varianti locali
Basis ha pubblicato Global Emotions, un dataset di parlato di 525,17 ore che comprende 108 varianti locali, 83 lingue e 10.420 parlanti. L’audio è concesso in licenza per usi commerciali e di ricerca, ma per accedervi occorre presentare una
AI.info Team · Scritto con l’IA ·
Basis presenta il suo nuovo dataset di parlato Global Emotions come gratuito per usi commerciali e di ricerca, ma l’accesso è soggetto a una procedura: chi è interessato deve richiederlo e ogni richiesta viene esaminata da una persona. L’azienda fa inoltre pagare separatamente le trascrizioni verificate da persone, che non sono incluse con l’audio. Pubblicata il 12 ottobre, la raccolta abbina un’ampia licenza a restrizioni sulle modalità con cui gli utenti possono ottenere e trattare le registrazioni.
Un parlante, una frase, diverse interpretazioni
Global Emotions contiene 525,17 ore di audio in 137.696 registrazioni, raggruppate in 54.575 serie abbinate di 10.420 parlanti. Le sue 108 varianti locali coprono 83 lingue e 90 paesi. I file audio sono WAV mono a 48 kHz e 16 bit.
In ogni serie, il parlante e la frase prevista dal copione restano gli stessi, mentre cambia l’interpretazione. Le serie dedicate alle emozioni comprendono letture neutre, a intensità media e a piena intensità; quelle dedicate alla modalità di esecuzione abbinano una lettura neutra a una pienamente eseguita nella modalità richiesta, per esempio sussurrata o cantata. «Lo stesso doppiatore legge la stessa frase secondo tre diversi livelli emotivi (per esempio neutro, arrabbiato e molto arrabbiato)», scrive Alexis Sursock nell’annuncio di Basis relativo a Global Emotions.
Il formato abbinato permette a chi sviluppa modelli di confrontare come un’emozione o una modalità di esecuzione cambi una voce senza cambiare anche il parlante o le parole. La raccolta comprende 12.141 registrazioni con un’indicazione non verbale prevista dal copione, come un sospiro, un verso di scherno, un sussulto o una risata; la scheda del dataset elenca 13 tipi di indicazioni. Basis afferma che queste compaiono nei copioni forniti ai parlanti, non nelle trascrizioni verificate da persone.
Licenza ampia, accesso soggetto a valutazione
Basis afferma che i partecipanti hanno effettuato le registrazioni tramite le sue applicazioni per i consumatori, hanno ricevuto un compenso e hanno acconsentito alla concessione in licenza delle loro registrazioni per l’addestramento dell’IA. Il dataset usa identificativi stabili dei parlanti, generati con un salt, ed esclude nomi, identificativi degli account e recapiti; le informazioni demografiche sono dichiarate dagli stessi partecipanti. La licenza consente usi commerciali e di ricerca, compresi l’addestramento e la vendita di modelli, ma vieta la ridistribuzione delle registrazioni stesse e i tentativi di identificare, contattare o impersonare i parlanti.
Gli utenti devono richiedere l’accesso al dataset e Basis afferma che una persona esamina le richieste. La pubblicazione su Hugging Face indica una dimensione di 168 GB. La pagina dei dati aperti di Basis presenta la raccolta come un dataset appena pubblicato, mentre la scheda del dataset fornisce i termini dettagliati di accesso e licenza.
I copioni non sono trascrizioni verificate
Il campo di testo di ogni record, chiamato given_line, contiene la frase che al parlante è stato chiesto di leggere; Basis avverte che i parlanti potrebbero discostarsene. Le trascrizioni verificate da persone non fanno parte della pubblicazione aperta. L’annuncio le elenca separatamente a 22,7 dollari per ora di audio.
Basis afferma di aver selezionato le registrazioni usando le valutazioni di parlanti madrelingua, insieme a modelli interni, per verificare l’aderenza all’emozione o alla modalità di esecuzione richiesta e la qualità del microfono. La selezione è stata bilanciata tra le istruzioni sulle modalità di esecuzione e tra i generi, con un limite di 35 minuti per parlante e di dieci serie per frase. L’audio è fornito così come è stato registrato, senza successiva riduzione del rumore, miglioramento, normalizzazione del volume o ricampionamento.
Le varietà regionali fanno parte del progetto
Le 108 varianti locali distinguono le varietà regionali all’interno delle lingue, anziché trattare ogni lingua come un’unica categoria vocale. La pubblicazione comprende il portoghese brasiliano ed europeo e lo swahili del Kenya e della Tanzania, oltre a diverse varietà di arabo, inglese e spagnolo. La scheda del dataset di Basis riporta per ogni variante locale il numero di ore, registrazioni, serie e parlanti.
Questi dettagli offrono ai ricercatori un modo per verificare se un modello di parlato espressivo gestisce sia la modalità di esecuzione sia le variazioni regionali, mentre le letture abbinate consentono confronti controllati per uno stesso parlante. Chi lavora con le etichette testuali, però, dovrebbe tenere conto della differenza tra il copione fornito e ciò che è stato effettivamente pronunciato: il dataset aperto fornisce il primo, non trascrizioni verificate del secondo.