Persone che conversano: valutare quanto naturalmente conversano i modelli vocali

Abstract degli autori

Un modello vocale conversazionale deve decidere, a ogni pausa, se parlare. Le valutazioni esistenti verificano il rilevamento dei confini, il rispetto delle policy o statistiche aggregate, ma non questa decisione. Mettiamo sistemi vocali in tempo reale davanti a 427 pause e 482 conclusioni di turno, tratte da 176 conversazioni spontanee in Seamless Interaction, forniamo a ciascuno la conversazione fino a quel momento e valutiamo ciò che genera confrontandolo con il comportamento della persona: se parla durante una pausa e quanto impiega a farlo; la latenza, la lunghezza e la formulazione della risposta alla fine di un turno; e la capacità di rispondere a una domanda relativa ai 30-120 secondi precedenti. Tra sei sistemi, le API ospitate (GPT Realtime, Gemini 3.1 Flash Live, Grok Voice) rispondono quasi a ogni pausa, indipendentemente dal rilevatore di fine turno usato; solo la loro latenza — circa da 1 a 4 s con rilevatori basati sul silenzio e circa 8 s con il rilevamento semantico del turno — determina se le parole arrivano durante la pausa. I modelli full-duplex (PersonaPlex, Moshi) sono gli unici sistemi che restano regolarmente in silenzio e gli unici che interrompono entro i tempi di reazione umani. I sistemi ospitati danno risposte più lunghe della persona. Quando ricevono la cronologia in formato testo, i sistemi ospitati ricordano dal 41 al 60% dei fatti della conversazione secondo una valutazione di Claude Opus 5.5 e dal 19 al 26% secondo un confronto rigoroso delle parole; ascoltandola in formato audio, i modelli full-duplex ricordano dal 17 al 22% e dal 12 al 15%. Rendiamo disponibili le etichette, i punti, l’ambiente di test e tutti gli output.