CRESiST: apprendimento esplorativo di policy con auto-miglioramento per la traduzione simultanea del parlato

Abstract degli autori

La traduzione simultanea del parlato (SimulST) richiede di bilanciare la qualità della traduzione e la latenza. Sebbene i Large Language Models (LLM) eccellano nella traduzione offline, gli attuali sistemi di SimulST basati su LLM si affidano prevalentemente alla generazione incrementale basata su prefissi. Questo paradigma comporta il ricalcolo ridondante della cache Key-Value e richiede un sistema esterno di rilevamento dell’attività vocale per elaborare flussi senza limiti di lunghezza. Per superare questi colli di bottiglia, proponiamo un framework end-to-end di lettura-scrittura intercalata basato su un LLM omni-modale. Intercalando blocchi di parlato e token testuali, la nostra architettura riutilizza integralmente la cache KV e supporta nativamente l’inferenza senza segmentazione e a lunghezza infinita. Inoltre, per apprendere policy di streaming ottimali senza rigidi allineamenti offline, introduciamo una nuova pipeline Actor-Critic di auto-miglioramento. Un Actor RNN-T campiona dinamicamente traiettorie di lettura-scrittura, mentre un Critic basato su LLM valuta questi percorsi tramite ricompense semantiche e di latenza intrinseche, distillando la policy ottimale nell’Actor. Esperimenti approfonditi su benchmark a livello di frase (FLEURS, CoVoST2) e di documento (MuST-C, ACL 60/60) dimostrano che il nostro modello stabilisce nuove frontiere di Pareto allo stato dell’arte per qualità e latenza, superando nettamente le baseline esistenti basate su architetture a cascata e allineamenti statici.