Rapporto tecnico su Qwen-Audio-3.1-ASR

Abstract degli autori

Presentiamo Qwen-Audio-3.1-ASR, una famiglia di modelli di IA per l’audio e il linguaggio che si basa sul suo predecessore Qwen-Audio-3.0-ASR, con un migliore riconoscimento del parlato e capacità ampliate nella trascrizione con diarizzazione dei parlanti e nella comprensione generale dell’audio. La famiglia mantiene il supporto per 30 lingue e 16 dialetti cinesi, insieme a funzionalità controllate tramite istruzioni, tra cui il condizionamento basato sul contesto storico, la personalizzazione gerarchica delle hotword e la rifinitura nativa delle trascrizioni. Il riconoscimento automatico del parlato con diarizzazione dei parlanti produce risultati strutturati che contengono etichette dei parlanti, indicazioni temporali e testo riconosciuto, mantenendo coerenti le etichette dei parlanti tra i turni di parola e rappresentando il parlato sovrapposto. Le capacità di comprensione generale dell’audio comprendono la generazione di descrizioni di audio, parlato e musica, la localizzazione temporale e il rilevamento di eventi sonori, oltre alle risposte a domande sull’audio e al ragionamento su domande a scelta multipla. Queste attività estendono l’ambito di applicazione dal riconoscimento delle parole pronunciate all’interpretazione dei parlanti, degli eventi acustici e delle loro relazioni temporali. Per rispondere a diverse esigenze di impiego, la famiglia comprende varianti per la trascrizione asincrona di file, lo streaming a bassa latenza, l’input vocale interattivo e il riconoscimento non in streaming; la trascrizione con diarizzazione dei parlanti e la comprensione generale dell’audio sono disponibili in alcune varianti. Le valutazioni coprono il riconoscimento automatico del parlato convenzionale, il parlato multilingue e dialettale, la trascrizione con diarizzazione dei parlanti e la comprensione generale dell’audio, dimostrando le capacità della famiglia Qwen-Audio-3.1-ASR nella trascrizione e in attività più ampie di analisi dell’audio.