ASR dal sintetico al reale per il parlato con alternanza di codice: un benchmark di podcast con parlato spontaneo in nepalese e inglese

Abstract degli autori

Il parlato conversazionale che alterna nepalese e inglese pone gravi difficoltà al riconoscimento automatico del parlato (ASR), soprattutto per la confusione tra sistemi di scrittura (l’uso inappropriato delle grafie devanagari e latina nello stesso testo) e per gli elevati tassi di errore nei punti in cui cambia la lingua. Il fine-tuning supervisionato (SFT) può adattare i modelli di base multilingue, ma raccogliere e annotare registrazioni di parlato umano con alternanza di codice è costoso. Abbiamo raccolto un nuovo benchmark di 13.044 enunciati spontanei tratti da podcast (15,45 h in totale; 10.214 per il test, 2.830 per lo sviluppo), sottoposti a controlli e verifiche per eliminare le contaminazioni dovute alla traduzione automatica e i loop acustici. Esaminiamo un approccio di adattamento dal sintetico al reale in due fasi: la fase 1 applica l’SFT a 0,95 h di parlato sintetizzato tramite una pipeline TTS con più voci e due motori; la fase 2 esplora la Group Relative Policy Optimization (GRPO) con ricompense legate alla trascrizione e al sistema di scrittura. Riscontriamo che l’SFT su dati sintetici fornisce il principale contributo al trasferimento tra domini verso il parlato umano spontaneo, riducendo il tasso di errore misto (MER) dal 23,40% al 21,52% (-1,88 punti percentuali) e il tasso di errore nei punti di cambio della lingua (SPER) dal 35,89% al 28,77% (-7,12 punti percentuali). La successiva GRPO produce piccoli aggiustamenti statisticamente significativi su 173 enunciati del test (1,69%), portando la confusione nel sistema di scrittura dell’inglese (SCR_en) dal 6,45% al 6,36% (p <= 0,001) e lo SPER al 28,70% (p = 0,022, con clustering). Un’analisi per ablazione rivela però un punto cruciale: in questa configurazione encoder-decoder, dopo la convergenza dell’SFT, un termine di ricompensa ausiliario per il sistema di scrittura dà risultati identici a quelli dell’ottimizzazione basata sul solo MER, perché i gruppi di candidati generati durante i rollout presentano una variabilità quasi nulla del sistema di scrittura sui dati sintetici. Sui benchmark monolingui, l’SFT migliora il MER per il nepalese di 2,71 punti percentuali (stabilizzandosi al 18,42% dopo la GRPO, con un guadagno di 2,38 punti percentuali rispetto alla baseline), preservando il WER lessicale per l’inglese (3,38% contro 3,33%). Le trascrizioni verificate, i timestamp, i metadati degli episodi e gli script di ricostruzione sono stati resi pubblici.