Decodificare prima di ascoltare: ascolto speculativo per modelli linguistici per il parlato full-duplex con chunk intercalati

Abstract degli autori

I modelli linguistici per il parlato full-duplex con chunk intercalati ascoltano e parlano in chunk di durata fissa, ciascuno dei quali deve essere elaborato prima che arrivi il successivo. Il carico di lavoro è asimmetrico tra i chunk: i chunk di ascolto lasciano inattiva la capacità di calcolo in attesa dell’audio, mentre quelli di parlato e di chiamata agli strumenti richiedono una generazione seriale, che ritarda le risposte e le chiamate agli strumenti. Per sfruttare la capacità di calcolo inattiva per il chunk successivo, occorre decodificarlo prima che arrivi il relativo audio, basandosi su un input ipotizzato. Assumendo il silenzio come input e confrontando, su quattro modelli, l’output con quello ottenuto in presenza dell’audio reale, osserviamo due proprietà. Primo, il chunk audio successivo non modifica l’output nel 95,3% dei chunk. Secondo, l’88% delle modifiche inizia dal primo token dell’output. Sulla base di queste proprietà, proponiamo Speculative Listening, un framework senza addestramento e senza perdita per la decodifica speculativa autonoma al momento dell’input. Durante i tempi morti, il modello prepara una bozza del chunk successivo assumendo il silenzio e, quando le modifiche iniziano dal primo token, un secondo ramo a partire dal token iniziale candidato successivo in classifica. Conserva tutte le bozze in un pool di ipotesi tra chunk e le verifica quando arriva l’audio. Sul nostro benchmark di otto task, TickTock-Bench, Speculative Listening accelera i chunk di parlato di 2,6–2,8× e i chunk di chiamata agli strumenti fino a 23,4×. In media, riduce del 73% il ritardo di decodifica prima dell’inizio di una risposta, portandolo a 74–241 ms, un valore vicino all’intervallo di 200 ms tra i turni di parola umani, e riduce del 94,4% il ritardo massimo rispetto al tempo reale.