The Pulse
Kyutai lança AURA-5B para vídeos de pessoas falando, com uso não comercial
AURA-5B transforma um retrato e áudio de fala em um vídeo de uma pessoa falando, com pesos disponíveis para pesquisa não comercial. A Kyutai informa que o modelo gera vídeos em 720p a 9,7 quadros por segundo em uma GPU H100, abaixo da taxa de reprodução.

A Kyutai disponibilizou o AURA-5B para transformar um único retrato e áudio de fala em um vídeo de uma pessoa falando, com pesos do modelo restritos à pesquisa não comercial. Em um pipeline otimizado, o modelo produz vídeos em 720p a 9,7 quadros por segundo em uma GPU H100, segundo seu model card. Essa taxa fica abaixo dos 25 Hz usados pelo modelo para reprodução.
Um preprint que descreve o trabalho foi publicado no arXiv em 19 de novembro de 2026. Ele também apresenta um modelo menor, AURA 1.3B, que, segundo os pesquisadores, pode gerar vídeos em resolução mais baixa em tempo real.
Transmissão em blocos
O AURA-5B gera vídeos bloco a bloco, em vez de esperar por um trecho mais longo de áudio. Ele precisa do áudio do bloco atual, sem a antecipação de áudio de vários segundos usada pelo modelo professor bidirecional.
Cada bloco representa cerca de 0,64 segundo e contém quatro quadros latentes. Um cache contínuo mantém o primeiro bloco como âncora de identidade e conserva o bloco mais recente para dar contexto. Segundo a Kyutai, isso mantém constante o uso de memória e permite transmissões de 60 segundos ou mais.
O modelo é um aluno causal de quatro etapas destilado do TalkVerse, um professor bidirecional que usa 50 etapas de remoção de ruído. A equipe informa que o AURA-5B é 17 vezes mais rápido que seu professor de ponta a ponta e 30 vezes mais rápido apenas no transformer de difusão.
Treinamento e arquivos disponíveis
O model card lista o TalkVerse-S2V-5B, da Snap, como modelo-base, construído por sua vez sobre o Wan2.2-TI2V-5B. O treinamento teve duas etapas: na primeira, o aluno foi ajustado às trajetórias do professor usando 30.000 clipes sintéticos; na segunda, foi usada destilação por correspondência de distribuição com simulação reversa, treinando o modelo com os próprios estados de execução do aluno.
Nas duas etapas, adaptadores LoRA foram ajustados em 64 GPUs H100. A Kyutai fornece um checkpoint independente mesclado, com 5,7 bilhões de parâmetros e arquivo de 22,8 GB. Também fornece checkpoints apenas LoRA, que precisam ser aplicados ao modelo-base TalkVerse, além de um checkpoint independente da primeira etapa de treinamento.
O código de referência para geração baixa o modelo mesclado final e componentes separados de texto, vídeo e áudio. Com a compilação ativada, o código roda a cerca de 8 quadros por segundo em uma H100, segundo o model card; a taxa mais alta informada vem de um pipeline otimizado.
Limitações e licenciamento
No teste HALLO3, os pesquisadores informam uma pontuação de sincronização labial Sync-C de 4,30 para o AURA-5B, em comparação com 5,06 para o Hallo3 e 5,42 para o Wan-S2V. O model card diz que o modelo foi treinado e avaliado com vídeos de pessoas falando, conduzidos por fala em inglês; outros idiomas, áudio sem fala e enquadramentos que não sejam de retrato não foram testados.
Todos os checkpoints do AURA-5B são derivados do modelo da Snap e seguem sua licença não comercial para uso em pesquisa. Os componentes baixados separadamente mantêm suas próprias licenças. A Kyutai também alerta contra a imitação de pessoas, o conteúdo sem consentimento e a desinformação, e pede consentimento das pessoas retratadas e divulgação de que os vídeos foram gerados por IA.
O preprint também descreve o AURA 1.3B, que gera vídeos em 576p. Os pesquisadores informam uma taxa de 20,7 quadros por segundo em uma única GPU, para uma taxa de reprodução de 16 Hz.
Fontes
- Fonte original Kyutai huggingface.co
Outras páginas lidas
- arXiv arxiv.org
Notícias relacionadas
- FlashInfer no ROCm roteia automaticamente kernels de GPU da AMD
- Google lança uso do computador do Gemini no Mac para assinantes de IA
- MLPerf Endpoints testa serviços de IA ao vivo sob cargas semelhantes às de produção
- NVIDIA adiciona reordenação de pacotes à biblioteca de aquisição de dados DAQIRI
- NVIDIA atualiza decodificadores GGUF do Nemotron 3.5 Transcribe