Ir al contenido
AI.info

The Pulse

Kyutai publica AURA-5B para generar vídeos de personas hablando con fines no comerciales

AURA-5B convierte un retrato y audio de voz en un vídeo de una persona hablando, y sus pesos están disponibles para investigación no comercial. Kyutai informa de que el modelo genera vídeo a 720p y 9,7 fotogramas por segundo en una GPU H100, por debajo de su frecuencia de reproducción.

Kyutai publica AURA-5B para generar vídeos de personas hablando con fines no comerciales

Kyutai ha puesto AURA-5B a disposición del público para convertir un único retrato y audio de voz en un video de una persona hablando, con los pesos del modelo restringidos a la investigación no comercial. En una canalización optimizada, el modelo genera video a 720p y 9,7 fotogramas por segundo en una GPU H100, según su ficha. Esa velocidad está por debajo de la frecuencia de reproducción de 25 Hz que utiliza el modelo.

Un preprint que describe el trabajo se publicó en arXiv el 19 de noviembre de 2026. También presenta un modelo más pequeño, AURA 1.3B, que, según los investigadores, puede generar video de menor resolución en tiempo real.

Transmisión por bloques

AURA-5B genera video bloque a bloque, en lugar de esperar a que haya un tramo de audio más largo. Necesita el audio del bloque en curso, sin la anticipación de varios segundos de audio que utiliza el modelo docente bidireccional.

Cada bloque representa unos 0,64 segundos y contiene cuatro fotogramas latentes. Una caché deslizante conserva el primer bloque como ancla de identidad y mantiene el bloque más reciente como contexto. Kyutai afirma que esto mantiene constante el uso de memoria y permite transmisiones de 60 segundos o más.

El modelo es un estudiante causal de cuatro pasos destilado de TalkVerse, un modelo docente bidireccional que utiliza 50 pasos de eliminación de ruido. El equipo informa que AURA-5B es 17 veces más rápido que su modelo docente de extremo a extremo y 30 veces más rápido si se considera únicamente el transformador de difusión.

Entrenamiento y archivos disponibles

La ficha del modelo identifica TalkVerse-S2V-5B de Snap como modelo base, construido a su vez sobre Wan2.2-TI2V-5B. El entrenamiento tuvo dos etapas: en la primera, el estudiante se ajustó a las trayectorias del modelo docente mediante 30.000 clips sintéticos; en la segunda, se utilizó destilación por ajuste de distribución con simulación hacia atrás, entrenando al modelo con sus propios estados de despliegue.

En ambas etapas se ajustaron adaptadores LoRA en 64 GPU H100. Kyutai ofrece un checkpoint independiente combinado, con 5,7 mil millones de parámetros y un tamaño de archivo de 22,8 GB. También ofrece checkpoints que solo contienen LoRA y deben aplicarse al modelo base TalkVerse, además de un checkpoint independiente de la primera etapa del entrenamiento.

El código de referencia para la generación descarga el modelo combinado final y componentes separados de texto, video y audio. Con la compilación activada, ese código funciona a unos 8 fotogramas por segundo en una H100, según la ficha del modelo; la velocidad más alta indicada corresponde a una canalización optimizada.

Limitaciones y licencias

En la prueba HALLO3, los investigadores informan de una puntuación de sincronización labial Sync-C de 4,30 para AURA-5B, frente a 5,06 para Hallo3 y 5,42 para Wan-S2V. La ficha del modelo indica que se entrenó y evaluó con videos de personas hablando, animados mediante voz en inglés; no se han probado otros idiomas, audio sin voz ni encuadres que no sean de retrato.

Todos los checkpoints de AURA-5B se derivan del modelo de Snap y llevan su licencia no comercial para uso de investigación. Los componentes descargados por separado mantienen sus propias licencias. Kyutai también advierte contra la suplantación de identidad, el contenido no consentido y la desinformación, y pide obtener el consentimiento de las personas retratadas e informar de que los videos se han generado con IA.

El preprint también describe AURA 1.3B, que genera video a 576p. Los investigadores informan de una velocidad de 20,7 fotogramas por segundo en una sola GPU, para una frecuencia de reproducción de 16 Hz.

Fuentes

  1. Fuente original Kyutai huggingface.co

Otras páginas leídas

  1. arXiv arxiv.org

Noticias relacionadas

Explora

Más artículos