The Pulse

Voice of Reason di Kyutai ottiene il 70,6% su GSM8K

GLM-4-Voice of Reason di Kyutai è un modello speech-to-speech che ragiona prima di parlare e ottiene un punteggio di 0,706 in una valutazione su 1.310 quesiti di GSM8K attraverso il canale scritto.

AI.info Team · Scritto con l’IA · verificato · 2026-09-23

GLM-4-Voice of Reason di Kyutai è un modello speech-to-speech addestrato a ragionare prima di parlare. La sua scheda riporta un punteggio di 0,706, pari al 70,6%, in una valutazione sul test GSM8K composta da 1.310 quesiti, usando il canale scritto e gpt-4o-2024-11-20 come giudice.

Il modello si basa su GLM-4-Voice-9B ed è addestrato con apprendimento per rinforzo su problemi matematici formulati in linguaggio naturale, usando come giudice un modello linguistico che fornisce una valutazione binaria. Non è prevista una fase di fine-tuning supervisionato per il comportamento di ragionamento: il modello lo apprende dal segnale di ricompensa.

Il ragionamento fa parte della risposta vocale

GLM-4-Voice of Reason riceve input vocali e produce una risposta vocale. Il suo ragionamento non è collocato in un canale nascosto separato. Il modello affronta invece il problema passo dopo passo nella risposta che pronuncia.

L’esempio nella scheda del modello istruisce il sistema a rispondere in modo alternato, con 13 token di testo seguiti da 26 token audio. Nel flusso di lavoro mostrato, l’output generato contiene sia token di testo sia token vocali. Il testo può essere decodificato come risposta completa, mentre i token vocali rappresentano i codici audio che saranno convertiti in una forma d’onda.

Questa progettazione mantiene il ragionamento e la risposta all’interno dello stesso processo di generazione vocale. La scheda descrive il sistema come un modello speech-to-speech, anziché come una pipeline vocale convenzionale che prima trascrive la voce, invia il testo a un modello linguistico separato e poi sintetizza il risultato.

Un risultato di benchmark legato a una configurazione specifica

Il punteggio GSM8K di 0,706 riportato va letto alla luce di diverse precisazioni. Riguarda 1.310 quesiti del test, usa il canale scritto e si affida a gpt-4o-2024-11-20 come giudice per la valutazione. Il dato descrive quindi uno specifico protocollo di valutazione, anziché una misura generale delle capacità matematiche in qualsiasi contesto vocale.

La scheda del modello definisce il compito come la risoluzione di problemi matematici formulati in linguaggio naturale. Poiché il giudice è un modello linguistico che fornisce una valutazione binaria, il risultato riflette sia la risposta generata dal modello sia la procedura di valutazione usata per classificarla. La scheda non presenta il punteggio come il risultato di una verifica simbolica.

L’esecuzione locale richiede i componenti di GLM-4-Voice

La versione pubblicata da Kyutai è destinata all’esecuzione in locale. Il front end audio è ereditato da GLM-4-Voice e non è incluso nel repository. Gli utenti devono clonare il repository di GLM-4-Voice per ottenere il tokenizer vocale, quindi utilizzare i token vocali generati dal modello con il decoder di GLM-4-Voice per produrre una forma d’onda.

L’esempio pubblicato usa Transformers, PyTorch, Torchaudio, Accelerate, Tiktoken e SoundFile. Accetta un file audio leggibile da Torchaudio, compresi i file con qualsiasi frequenza di campionamento supportata dalla libreria audio. L’esempio carica il checkpoint in bfloat16 e lo colloca su un dispositivo CUDA.

Lo script riportato è stato eseguito su una singola GPU H100 con Transformers 4.47.1 e PyTorch 2.8.0. La scheda del modello avverte inoltre che la build appropriata di PyTorch dipende dal driver CUDA del sistema, poiché i pacchetti wheel più recenti potrebbero richiedere una versione di CUDA più recente di quella disponibile su alcuni cluster.

Un checkpoint aperto per la ricerca sul ragionamento vocale

GLM-4-Voice of Reason offre ai ricercatori un checkpoint liberamente disponibile per studiare il ragionamento durante la generazione audio. La sua progettazione punta a far sì che un unico modello nativamente vocale elabori una domanda audio, generi il ragionamento intermedio e fornisca la risposta a voce.

La versione pubblicata è quindi utile sia come modello sia come esperimento locale riproducibile. Il suo risultato di benchmark è del 70,6% nella configurazione GSM8K specificata, mentre il codice allegato mostra come estrarre i token vocali, decodificare la risposta testuale e passare i codici audio a un decoder. La scheda del modello non attesta prestazioni più ampie oltre a quelle emerse da questa valutazione.