The Pulse
ElevenLabs lancia i modelli vocali v4 per gli agenti vocali
ElevenLabs ha lanciato v4 e v4 Turbo il 28 settembre, aggiungendo controlli sull’espressività e il supporto per 90 lingue. Il modello Turbo è rivolto agli agenti vocali e offre una latenza inferiore, mentre v4 può clonare una voce a partire

AI.info Team · Scritto con l’IA · verificato ·
ElevenLabs ha lanciato lunedì 28 settembre due modelli per la generazione vocale: ElevenLabs v4 e v4 Turbo. Il lancio affianca a un modello progettato per generare audio espressivo una versione a latenza inferiore destinata agli agenti vocali e porta da 70 a 90 il numero di lingue supportate, secondo quanto dichiarato dall’azienda.
Un modello per l’interpretazione, uno per la velocità
La generazione v4 usa una nuova architettura che offre agli utenti maggiore controllo sull’espressività e migliora la clonazione vocale, afferma ElevenLabs. V4 può creare un clone vocale a partire da 10 secondi di audio. Il modello preserva anche meglio l’identità della voce nei passaggi più lunghi e usa il testo circostante per determinare come pronunciare una battuta, secondo l’azienda.
V4 amplia le funzionalità dei tag inseriti nel testo che ElevenLabs aveva introdotto con v3. Gli utenti possono combinare più tag per dirigere una sequenza di scelte vocali, dando al modello istruzioni su come la pronuncia debba cambiare da una battuta alla successiva. Questo approccio sposta più controllo all’interno del copione, anziché affidare l’espressività a un’unica impostazione applicata a un intero passaggio.
Turbo punta sulle conversazioni in tempo reale con gli agenti
La versione Turbo è progettata per le applicazioni in cui la voce generata deve tenere il passo con uno scambio in tempo reale. Ha una latenza inferiore, afferma ElevenLabs, e può iniziare a produrre audio non appena il modello linguistico alla base di un agente comincia a generare la risposta. L’obiettivo è fare in modo che le risposte vocali non diano tanto l’impressione di essere una fase separata, successiva alla generazione del testo.
V4 può anche gestire in modo diverso i confronti, le escalation e le attese, afferma l’azienda, consentendo all’agente di modulare la voce in base a ciò che accade durante una chiamata. La funzione è pensata per il servizio clienti, dove un tono uniforme può risultare fuori luogo quando una conversazione passa da domande di routine a un reclamo o a una richiesta di aiuto.
Il supporto linguistico raggiunge quota 90
I nuovi modelli supportano 90 lingue, rispetto alle 70 della versione precedente. I maggiori miglioramenti in termini di qualità, riferisce ElevenLabs, riguardano il giapponese, il portoghese brasiliano, il mandarino e il cantonese. La maggiore copertura linguistica estende gli usi previsti dei modelli oltre le voci fuori campo in inglese, ai contenuti multilingue e alle interazioni con gli agenti.
Anche la capacità di mantenere l’identità della voce nei passaggi più lunghi e il controllo dell’espressività su più fasi rispondono a esigenze diverse: un narratore deve mantenere una voce coerente per tutta la durata di un lungo copione, mentre un agente deve cambiare tono in risposta alla conversazione. Il lancio combina queste priorità in v4 e offre poi Turbo per le situazioni in cui la velocità di risposta conta di più.
I modelli vocali affrontano un mercato affollato
Il lancio di ElevenLabs arriva in un momento in cui la concorrenza nei modelli vocali comprende Cartesia, Deepgram, Fish Audio, Boson e WellSaid Labs, oltre ai prodotti vocali di Google e OpenAI. L’azienda ha anche sviluppato un’ampia attività di chiamate per le imprese: TechCrunch riferisce che oltre il 55% dei suoi affari proviene da grandi aziende.
La distinzione tra v4 e Turbo definisce la scelta pratica offerta dal nuovo lancio: generazione espressiva per la produzione audio oppure un modello a latenza inferiore per gli agenti. Turbo può iniziare a restituire audio mentre il modello linguistico dell’agente sta ancora generando la risposta, afferma ElevenLabs.
Fonte
Notizie correlate
- ElevenLabs raggiunge una valutazione di 22 miliardi di dollari con un’offerta da 300 milioni
- Manus 2.0 aggiunge workflow attivati da eventi e agenti personali
- OpenAI lancia Dots, agenti che lavorano in background
- Robinhood porta gli agenti di trading basati sull’IA nella sua app
- Un ricercatore riconduce oltre 16.500 scansioni dell’API di UNCTAD a probabili agenti OpenAI