The Pulse
Kyutai rilascia AURA-5B per video in stile talking-head a uso non commerciale
AURA-5B trasforma un ritratto e l’audio del parlato in un video in stile talking-head, con pesi disponibili per la ricerca non commerciale. Kyutai riferisce che il modello genera video a 720p a 9,7 fotogrammi al secondo su una GPU H100, al di sotto della sua frequenza di riproduzione.

Kyutai ha reso disponibile AURA-5B per trasformare un singolo ritratto e l’audio del parlato in un video in stile talking-head, con pesi del modello riservati alla ricerca non commerciale. In una pipeline ottimizzata, il modello produce video a 720p a 9,7 fotogrammi al secondo su una GPU H100, secondo la model card. È un valore inferiore alla frequenza di riproduzione di 25 Hz usata dal modello.
Un preprint che descrive il lavoro è stato pubblicato su arXiv il 19 novembre 2026. Presenta anche un modello più piccolo, AURA 1.3B, che, secondo i ricercatori, può generare video a risoluzione inferiore in tempo reale.
Streaming a blocchi
AURA-5B genera il video un blocco alla volta, anziché aspettare una sequenza audio più lunga. Ha bisogno dell’audio del blocco corrente, senza il look-ahead audio di diversi secondi usato dal modello insegnante bidirezionale.
Ogni blocco rappresenta circa 0,64 secondi e contiene quattro frame latenti. Una cache scorrevole mantiene il primo blocco come ancora d’identità e conserva il blocco più recente come contesto. Kyutai afferma che così l’uso della memoria rimane costante e si possono gestire flussi di 60 secondi o più.
Il modello è uno studente causale a quattro passaggi distillato da TalkVerse, un modello insegnante bidirezionale che usa 50 passaggi di denoising. Il team riferisce che AURA-5B è 17 volte più veloce del modello insegnante da un’estremità all’altra e 30 volte più veloce sul solo transformer di diffusione.
Addestramento e file disponibili
La model card indica Snap’s TalkVerse-S2V-5B come modello di base, a sua volta basato su Wan2.2-TI2V-5B. L’addestramento si è svolto in due fasi: nella prima, lo studente è stato adattato alle traiettorie del modello insegnante usando 30.000 clip sintetiche; nella seconda, è stata usata una distillazione con matching della distribuzione e simulazione all’indietro, addestrando il modello sugli stati delle traiettorie generate dallo studente stesso.
In entrambe le fasi sono stati perfezionati adapter LoRA su 64 GPU H100. Kyutai fornisce un checkpoint autonomo unificato con 5,7 miliardi di parametri e una dimensione di 22,8 GB. Fornisce anche checkpoint con soli LoRA, da applicare al modello di base TalkVerse, oltre a un checkpoint autonomo della prima fase di addestramento.
Il codice di generazione di riferimento scarica il modello finale unificato e componenti separati per testo, video e audio. Con la compilazione attivata, il codice gira a circa 8 fotogrammi al secondo su una GPU H100, secondo la model card; il valore più alto riportato deriva da una pipeline ottimizzata.
Limiti e licenze
Nel test HALLO3, i ricercatori riferiscono un punteggio di sincronizzazione labiale Sync-C di 4,30 per AURA-5B, rispetto a 5,06 per Hallo3 e 5,42 per Wan-S2V. La model card afferma che il modello è stato addestrato e valutato su video con inquadratura talking-head guidati da parlato in inglese; non sono state testate altre lingue, audio non parlato e inquadrature diverse da quella di ritratto.
Tutti i checkpoint di AURA-5B derivano dal modello Snap e ne mantengono la licenza non commerciale per l’uso nella ricerca. I componenti scaricati separatamente conservano le proprie licenze. Kyutai mette inoltre in guardia contro l’impersonificazione, i contenuti non consensuali e la disinformazione, e chiede il consenso dei soggetti ritratti e la divulgazione del fatto che i video sono generati dall’IA.
Il preprint descrive anche AURA 1.3B, che genera video a 576p. I ricercatori riferiscono una velocità di 20,7 fotogrammi al secondo su una singola GPU, per una frequenza di riproduzione di 16 Hz.
Fonti
- Fonte originale Kyutai huggingface.co
Altre pagine lette
- arXiv arxiv.org
Notizie correlate
- Endless Frontier rilascia i pesi di un modello di bioinformatica da 180 miliardi di parametri
- Apple rilascia il modello video FastFrames-L per la ricerca
- Kyutai presenta REKI, un modello per le azioni dei robot da 2,4 miliardi di parametri
- Voice of Reason di Kyutai ottiene il 70,6% su GSM8K
- Meituan afferma che il modello aperto per avatar LongCat genera video di oltre 10 minuti