The Pulse
IBM riunisce chat, decisioni e riconoscimento vocale in Granite Switch 4.1
Granite Switch 4.1 di IBM combina adapter per chat, decisioni e sicurezza con un encoder integrato per il riconoscimento vocale, nelle versioni da 8B e 30B. Il percorso vocale trascrive l’audio in inglese in testo per il modello linguistico
AI.info Team · Scritto con l’IA ·
Un unico endpoint di modello IBM può ricevere una domanda pronunciata a voce, trascriverla, rispondere in chat e passare a un compito decisionale o a una verifica di sicurezza. IBM ha pubblicato i dettagli di Granite Switch 4.1 il 15 ottobre, dopo la pubblicazione delle schede dei modelli delle versioni 8B e 30B, datate 14 ottobre. I checkpoint combinano un modello linguistico Granite 4.1 con adapter per decisioni e sicurezza e un encoder integrato per il riconoscimento vocale.
Due adapter, un encoder vocale
Le versioni 8B e 30B usano un adapter decisionale per scegliere tra opzioni etichettate e un adapter Guardian per rilevare i rischi per la sicurezza. Secondo IBM, l’adapter decisionale restituisce una distribuzione di probabilità sulle opzioni fornite, mentre Guardian può verificare rischi tra cui contenuti dannosi, tentativi di jailbreak, violenza e pregiudizi sociali. Il componente vocale è Granite Speech 5.0 TurboCTC, un encoder da 470 milioni di parametri per la trascrizione dell’inglese.
Il passaggio di trascrizione inserisce il testo nel contesto della chat del modello linguistico; secondo la scheda del modello, l’encoder vocale e il modello linguistico non sono stati addestrati congiuntamente. Questa distinzione significa che la funzionalità è un percorso di conversione da voce a testo verso un modello testuale, non un unico modello addestrato a comprendere insieme audio e linguaggio. La scheda segnala inoltre che l’input è limitato all’inglese e che la trascrizione prodotta è in minuscolo e senza punteggiatura.
«Date un’occhiata al nostro spazio HF Speech-to-Decisions, dove granite-switch-4.1-8b trascrive l’audio, genera riassunti, controlla la presenza di contenuti dannosi e verifica altri 15 flag definiti dall’utente: il tutto in tempo reale su un unico endpoint.»
scrivono gli autori di IBM Granite Kate Soule, Subhajit Chaudhury, Hendrik Strobelt e Luis A. Lastras
Secondo IBM, il pacchetto occupa la stessa memoria del modello di base
Secondo IBM, gli adapter e la tecnologia vocale occupano all’incirca la stessa quantità di VRAM della GPU che occuperebbe da solo il modello di base sottostante. L’azienda attribuisce il risultato ad adapter che possono riutilizzare la cache chiave-valore del modello di base tra richieste diverse, insieme a un encoder vocale collocato nello stesso ambiente. Il progetto mira a evitare di eseguire copie separate del modello per chat, decisioni e trascrizione, anche se l’annuncio non pubblica una cifra relativa alla memoria GPU né un confronto diretto del suo utilizzo.
Entrambi i checkpoint sono distribuiti con licenza Apache 2.0 e possono essere eseguiti con Hugging Face Transformers o vLLM. Sono composti rispettivamente a partire da modelli di base Granite 4.1 con 8 miliardi e 30 miliardi di parametri. Gli sviluppatori attivano gli adapter tramite token di controllo nel template della chat e, secondo IBM, il checkpoint 8B può anche riassumere le trascrizioni e verificare più di 15 flag generici.
Le affermazioni sulle decisioni richiedono dettagli sui benchmark
Secondo IBM, il suo adapter Guardian ottiene in media risultati migliori di Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions e Clef-Flash nei compiti decisionali legati alla sicurezza. L’annuncio non fornisce tabelle dei punteggi né i dettagli della valutazione necessari per esaminare il confronto: si tratta quindi di un risultato riportato dall’azienda, non di un benchmark pienamente documentato nel post. IBM descrive anche un confronto separato sui tempi di esecuzione di un flusso di lavoro di retrieval in cinque passaggi contro Jev-27B, ma nemmeno in quel caso fornisce i tempi trascorsi.
Il limite pratico di quanto annunciato è più chiaro: Granite Switch offre generazione di testo, decisioni tra opzioni etichettate, verifiche di sicurezza e trascrizione dell’inglese attraverso un’unica interfaccia di modello. L’input vocale passa comunque attraverso un encoder integrato separato e il suo output arriva come testo in minuscolo, senza punteggiatura.