Lipi-Ghor: un corpus bengalese del parlato su larga scala, con diarizzazione e in diversi ambiti, e una pipeline scalabile per costruirlo

Abstract degli autori

Il bengalese, parlato da oltre 230 milioni di persone, resta gravemente sottorappresentato nella ricerca sul parlato. I corpus aperti esistenti per il riconoscimento automatico del parlato (ASR) in bengalese si limitano a registrazioni brevi, lette o raccolte tramite crowdsourcing, e non comprendono né la diarizzazione dei parlanti né audio di lunga durata. Presentiamo Lipi-Ghor, un corpus bengalese del parlato debolmente supervisionato e su larga scala, composto da 885 ore di audio tratte da 998 video di YouTube pubblicati su 596 canali distinti. Copre 17 ambiti diversi, tra cui audiolibri, drammi, sermoni religiosi, notizie e dialetti regionali. Ogni registrazione è annotata nel formato SSTT (Speaker, Speech, Transcription, Timestamp), che combina la diarizzazione automatica con le tracce dei sottotitoli in bengalese di YouTube. Per quanto ne sappiamo, Lipi-Ghor è il primo corpus bengalese del parlato a unire una copertura su larga scala ad annotazioni di audio di lunga durata con diarizzazione dei parlanti: due caratteristiche assenti nelle risorse aperte esistenti per il bengalese. Presentiamo inoltre la metodologia di costruzione come pipeline replicabile per qualsiasi lingua sufficientemente presente nei video di YouTube dotati di sottotitoli. La selezione mirata dei canali in un numero ristretto di ambiti ricchi di contenuti consente di raggiungere dimensioni del corpus prima fuori portata per le lingue con poche risorse. Valutiamo quattro modelli ASR ampiamente utilizzati in condizioni zero-shot e dopo fine-tuning. Tutti e quattro mostrano un calo sistematico delle prestazioni sui contenuti emotivi, dialettali e di lunga durata. Poiché i testi di riferimento ricavati dai sottotitoli sono rumorosi, rendiamo disponibile anche una porzione di valutazione gold annotata da persone, verificata da 17 annotatori volontari nel corso di 30 ore di correzione con intervento umano e stratificata in tutti i 17 ambiti. Rilasciamo i nostri contributi originali (elenchi degli ID dei video, risultati della diarizzazione, codice della pipeline e annotazioni gold) con licenza CC-BY-4.0 e distribuiamo le trascrizioni derivate dai sottotitoli esclusivamente per uso di ricerca; non ridistribuiamo l’audio originale.