Comprendere i benefici della personalizzazione in Whisper

Abstract degli autori

I modelli di riconoscimento automatico del parlato (ASR) come Whisper offrono trascrizioni zero-shot di buona qualità, ma i loro errori residui non si distribuiscono uniformemente tra dataset, condizioni di registrazione e gruppi definiti in base ai metadati. Studiamo quando l’adattamento leggero a basso rango (LoRA) migliora Whisper e se i miglioramenti osservati richiedono adattatori specifici per gruppo. Su Common Voice, LibriSpeech e VoxPopuli confrontiamo Whisper zero-shot, LoRA su dati aggregati e LoRA specifica per gruppo, usando le stesse suddivisioni dei dati all’interno di ciascun gruppo. Riscontriamo che l’adattamento non è sempre vantaggioso: i miglioramenti si concentrano nei gruppi difficili di Common Voice, sono costanti su VoxPopuli e scompaiono in gran parte su LibriSpeech, dove il tasso di errore è basso. Un punto cruciale è che la LoRA su dati aggregati spesso eguaglia quella specifica per gruppo e talvolta la supera nettamente. Prima di interpretarli come prova di personalizzazione, i miglioramenti rispetto alla trascrizione zero-shot vanno quindi verificati confrontandoli con un adattamento su dati aggregati a parità di condizioni.