Confucius4-R2T2: un modello ASR a streaming con prefisso stabile per la trascrizione davvero in tempo reale

Abstract degli autori

Il riconoscimento vocale in streaming è sempre più utilizzato da macchine, come traduttori e agenti vocali, che agiscono su ogni token man mano che compare. Un token corretto in un secondo momento comporta lavoro sprecato o un’azione sbagliata. In questo lavoro presentiamo Confucius4-R2T2 (abbreviazione di «trascrizione davvero in tempo reale»), un modello ASR a streaming con prefisso stabile che non modifica mai il suo output precedente, mantenendo al contempo un’elevata accuratezza e una bassa latenza. R2T2 è ottenuto sottoponendo Qwen3-ASR-1.7B a post-training su 1.500 ore di audio in cinese e in inglese, mantenendo congelati l’encoder audio pre-addestrato e il proiettore. L’adattamento si basa sul concetto di Longest Stable Prefix (LSP), una nuova nozione che introduciamo in questo lavoro. Dimostriamo che LSP è monotono rispetto all’ordine dei prefissi, coerente con l’output ottenuto dall’audio completo e massimale tra le etichette che coincidono con un intero output precedente. L’apprendimento da etichette LSP trasforma un modello a contesto completo in un modello a streaming con prefisso stabile, senza modifiche architetturali. Valutazioni approfondite mostrano che R2T2 porta il riconoscimento in streaming vicino alla qualità a contesto completo del modello di base, producendo al contempo testo stabile con un basso ritardo di emissione. I suoi vantaggi si estendono oltre le lingue usate nel post-training, dimostrando una via pratica per passare dall’ASR a contesto completo allo streaming stabile. Rilasciamo come open source i pesi del modello e il codice all’indirizzo https://huggingface.co/netease-youdao/Confucius4-R2T2 e https://github.com/netease-youdao/Confucius4-R2T2.