Vai al contenuto
AI.info

The Pulse

Nuance Labs raccoglie 50 milioni di dollari per avatar IA full-duplex

Nuance Labs ha raccolto 50 milioni di dollari in un finanziamento di serie A per sviluppare un modello audiovisivo full-duplex per conversazioni faccia a faccia con l’IA. La startup di Seattle afferma che il suo sistema è in grado di percep

Nuance Labs raccoglie 50 milioni di dollari per avatar IA full-duplex

AI.info Team · Scritto con l’IA · verificato ·

«La collaborazione più produttiva nasce dalla possibilità di esprimersi liberamente, con parole, tono, gesti ed espressioni, come si farebbe con un amico o un collega stretto.»

Fangchang Ma, cofondatore e CEO di Nuance Labs

Il 14 settembre Nuance Labs ha annunciato di aver raccolto 50 milioni di dollari in un finanziamento di serie A per creare avatar IA capaci di ascoltare, interpretare e rispondere durante una conversazione, anziché aspettare che ciascun interlocutore finisca di parlare. Il round è stato guidato da Lightspeed Venture Partners, con la partecipazione degli investitori già presenti Accel e South Park Commons e dei nuovi investitori NVIDIA e Define Ventures.

Il sistema della società di Seattle si basa su un unico modello audiovisivo full-duplex. Riceve segnali vocali e visivi mentre produce contemporaneamente una risposta audiovisiva, permettendo a un avatar di reagire mentre una persona sta ancora parlando. Secondo Nuance Labs, questo approccio è progettato per affrontare i ritardi, le interruzioni e le espressioni inespressive comuni nei sistemi assemblati a partire da modelli separati per il riconoscimento vocale, il linguaggio, la generazione della voce e l’animazione facciale.

Un solo modello per ascoltare e rispondere

Nuance Labs descrive il proprio modello come un sistema di base per la conversazione e l’espressione umana. Anziché ridurre un’interazione a una trascrizione, la società afferma che il modello analizza parole, tono, sguardo, gesti e tempi, per poi generare risposte verbali e non verbali che possono includere espressioni facciali e vocali.

La distinzione è importante perché i sistemi vocali e gli avatar convenzionali di solito fanno passare le informazioni attraverso una sequenza di componenti separati. Le parole vengono trascritte, un modello linguistico genera una risposta, un sistema vocale la pronuncia e un sistema di animazione tenta di sincronizzare un volto con l’output. Nuance Labs sostiene che ogni passaggio aggiunga ritardo e comporti la perdita di informazioni sul modo in cui una persona comunica.

Il suo modello, invece, acquisisce un flusso di dati di percezione audiovisiva mentre trasmette in uscita un flusso di risposta audiovisiva. Secondo la società, l’architettura gli permette di mostrare che sta seguendo una conversazione attraverso segnali come interiezioni, reazioni facciali e altri segni di ascolto attivo.

Ex ricercatori Apple puntano sull’IA faccia a faccia

Nuance Labs è stata fondata da Fangchang Ma, Edward Zhang e Karren Yang, che la società presenta come ex ricercatori Apple con dottorato. Secondo l’annuncio del finanziamento, i fondatori hanno lavorato alla percezione delle macchine, alla ricostruzione e alla generazione audiovisiva prima di avviare la società.

Il team ha scelto un approccio basato su un unico modello perché i sistemi esistenti non erano progettati per gestire insieme la comunicazione verbale e quella non verbale, afferma Nuance Labs. L’obiettivo dichiarato della società è creare un’IA capace di comprendere come le persone si esprimono e di rispondere sul momento, invece di costringere gli utenti ad adattare la propria comunicazione ai limiti di un’interfaccia con la macchina.

«Non sono mai sembrate naturali perché siamo stati noi a dover adattare noi stessi e il nostro modo di comunicare alla macchina, anziché lasciare che fosse la macchina ad adattarsi a noi», ha dichiarato Ma nell’annuncio.

Vendite, coaching e istruzione tra gli utilizzi previsti

Secondo la società, la tecnologia potrebbe essere impiegata nelle vendite e nel servizio clienti, nel coaching, nella formazione professionale e nell’istruzione. Tra gli esempi figurano sistemi di IA che conducono colloqui, aiutano gli utenti a esercitarsi in una lingua o offrono formazione attraverso un’interazione video in diretta.

Nuance Labs non ha annunciato un prodotto commerciale. Il finanziamento sosterrà lo sviluppo del modello, l’ampliamento del team di ricerca e la preparazione di un’anteprima pubblica di ricerca più avanti nel 2026. La società sta inoltre assumendo ricercatori e ingegneri negli ambiti della modellazione, dei dati, della valutazione, dell’inferenza e dell’erogazione in tempo reale.

Nnamdi Iregbulem, partner di Lightspeed Venture Partners, ha dichiarato che la società si sta occupando dell’interfaccia tra le persone e l’IA, anziché costruire un altro chatbot generalista.

«C’è un’enorme opportunità di migliorare il modo in cui le persone interagiscono con questi strumenti di IA trasformativi», ha detto Iregbulem. «Nuance Labs sta costruendo quell’interfaccia, capace di vedere una persona e risponderle come fanno le persone.»

Il finanziamento segue una scommessa tecnica mirata

Il round da 50 milioni di dollari fornisce a Nuance Labs i capitali per sviluppare un prodotto tecnicamente impegnativo prima di aver rilasciato un sistema pubblico. L’interazione audiovisiva in tempo reale richiede che il modello interpreti più flussi, produca voce e immagini con bassa latenza e mantenga una risposta coerente mentre l’utente continua a parlare.

Nuance Labs presenta la sfida come un problema di architettura, non semplicemente come una questione di aggiungere animazioni più espressive a un chatbot esistente. La sua tesi centrale è che percezione e risposta debbano essere addestrate ed erogate come un unico processo continuo. L’anteprima pubblica di ricerca offrirà il primo test su scala più ampia per verificare se questa progettazione produca conversazioni che diano un’impressione di minore discontinuità e maggiore reattività rispetto agli attuali sistemi di avatar.

Fonte

Notizie correlate

Esplora

Altri articoli