Heartbeat Thinking: ragionamento speculativo ed esecuzione di strumenti durante l’ascolto negli agenti vocali in tempo reale

Abstract degli autori

Gli agenti vocali che usano strumenti spesso fanno attendere gli utenti dopo che hanno finito di parlare, anche quando le informazioni necessarie per agire arrivano prima nel corso della richiesta. Gli approcci speculativi iniziano a lavorare mentre l’utente parla, ma la generazione limitata ai segmenti o interrotta a ogni aggiornamento può troncare una chiamata a uno strumento prima che i suoi argomenti siano completi. Il tempo di elaborazione resta così vincolato agli aggiornamenti del parlato, limitando il lavoro utile che si può completare in anticipo. Presentiamo Heartbeat Thinking, che gestisce gli aggiornamenti dell’input avviando nuove invocazioni di Thinker, senza interrompere quelle già in corso né gli strumenti già attivati. Le invocazioni periodiche leggono la trascrizione parziale più recente e un registro condiviso dei ragionamenti completati e dei risultati degli strumenti. Questi risultati aiutano a determinare gli argomenti mancanti e ad avviare le chiamate che ne dipendono, permettendo alla preparazione di avanzare attraverso gli aggiornamenti del parlato. Nei benchmark SpeechFCEval, FDBench v3 e AudioCRAG, Heartbeat migliora la copertura aggregata delle chiamate speculative agli strumenti o il riutilizzo delle informazioni recuperate rispetto a una baseline a finestre in stile SHANKS, con effetti sulla qualità finale del compito che variano a seconda del benchmark. Su FDBench v3, aumenta la copertura degli strumenti di 16 punti percentuali e riduce del 36,4\% la latenza media della risposta finale. I risultati mostrano che il paradigma Heartbeat Thinking, preservando le elaborazioni in corso mentre l’utente parla, può trasformare il tempo di ascolto in una preparazione riutilizzabile per risposte degli agenti vocali più rapide e più efficaci.