The Pulse
Kyutai veröffentlicht AURA-5B für nicht kommerzielle Talking-Head-Videos
AURA-5B wandelt ein Porträt und Sprachaufnahmen in ein Talking-Head-Video um. Die Modellgewichte sind für nicht kommerzielle Forschung verfügbar. Kyutai zufolge erzeugt das Modell auf einer einzelnen H100-GPU 720p-Videos mit 9,7 Bildern pro Sekunde – weniger als die Wiedergaberate des Modells.

Kyutai hat AURA-5B verfügbar gemacht, ein Modell, das ein einzelnes Porträt und Sprachaufnahmen in ein Talking-Head-Video umwandelt. Die Modellgewichte sind auf nicht kommerzielle Forschung beschränkt. In einer optimierten Pipeline erzeugt das Modell laut seiner Model Card 720p-Videos mit 9,7 Bildern pro Sekunde auf einer einzelnen H100-GPU. Das liegt unter der Wiedergaberate von 25 Hz, die das Modell verwendet.
Ein Preprint, der die Arbeit beschreibt, wurde am 19. November 2026 auf arXiv veröffentlicht. Darin wird auch ein kleineres Modell, AURA 1.3B, vorgestellt, das den Forschenden zufolge Videos mit geringerer Auflösung in Echtzeit erzeugen kann.
Streaming in Chunks
AURA-5B erzeugt Videos Chunk für Chunk, statt auf einen längeren Audioabschnitt zu warten. Es benötigt das Audio für den jeweiligen Chunk, nicht aber den mehrere Sekunden langen Audio-Vorlauf, den das bidirektionale Lehrermodell verwendet.
Jeder Chunk umfasst etwa 0,64 Sekunden und enthält vier latente Frames. Ein rollender Cache behält den ersten Chunk als Anker für die Identität bei und speichert den zuletzt erzeugten Chunk als Kontext. Kyutai zufolge sorgt das für einen konstanten Speicherbedarf und ermöglicht Streams von 60 Sekunden oder länger.
Das Modell ist ein kausales Student-Modell mit vier Schritten, destilliert aus TalkVerse, einem bidirektionalen Lehrermodell, das 50 Entrauschungsschritte verwendet. Das Team berichtet, dass AURA-5B Ende zu Ende 17-mal schneller ist als sein Lehrermodell und allein beim Diffusion Transformer 30-mal schneller.
Training und verfügbare Dateien
Die Model Card führt Snaps TalkVerse-S2V-5B als Basismodell auf, das seinerseits auf Wan2.2-TI2V-5B aufbaut. Das Training umfasste zwei Phasen: In der ersten wurde das Student-Modell anhand von 30.000 synthetischen Clips an die Trajektorien des Lehrermodells angepasst; in der zweiten kam Distillation durch Verteilungsabgleich mit rückwärtsgerichteter Simulation zum Einsatz, wobei das Modell mit den eigenen Rollout-Zuständen trainiert wurde.
In beiden Phasen wurden LoRA-Adapter auf 64 H100-GPUs feinabgestimmt. Kyutai stellt einen zusammengeführten, eigenständigen Checkpoint mit 5,7 Milliarden Parametern und einer Dateigröße von 22,8 GB bereit. Außerdem gibt es Checkpoints nur mit LoRA, die auf das TalkVerse-Basismodell angewendet werden müssen, sowie einen eigenständigen Checkpoint aus der ersten Trainingsphase.
Der Referenzcode zur Generierung lädt das endgültige zusammengeführte Modell sowie separate Text-, Video- und Audiokomponenten herunter. Bei aktivierter Kompilierung läuft der Code laut Model Card auf einer einzelnen H100 mit etwa 8 Bildern pro Sekunde; die höhere angegebene Rate wird mit einer optimierten Pipeline erreicht.
Grenzen und Lizenzierung
Im HALLO3-Test berichten die Forschenden für AURA-5B einen Sync-C-Wert von 4,30 für die Lippen-Synchronisation, gegenüber 5,06 für Hallo3 und 5,42 für Wan-S2V. Laut Model Card wurde das Modell mit Talking-Head-Videos trainiert und evaluiert, die von englischer Sprache begleitet werden; andere Sprachen, Audio ohne Sprache und Bildausschnitte, die keine Porträts zeigen, wurden nicht getestet.
Alle AURA-5B-Checkpoints stammen vom Snap-Modell ab und unterliegen dessen nicht kommerzieller Lizenz für Forschungszwecke. Die separat heruntergeladenen Komponenten behalten ihre jeweiligen Lizenzen. Kyutai warnt außerdem vor Identitätstäuschung, nicht einvernehmlich erstellten Inhalten und Desinformation und fordert die Zustimmung der abgebildeten Personen sowie eine Offenlegung, dass die Videos KI-generiert sind.
Der Preprint beschreibt außerdem AURA 1.3B, das 576p-Videos erzeugt. Für eine Wiedergaberate von 16 Hz berichten die Forschenden auf einer einzelnen GPU eine Geschwindigkeit von 20,7 Bildern pro Sekunde.
Quellen
- Originalquelle Kyutai huggingface.co
Weitere gelesene Seiten
- arXiv arxiv.org
Verwandte Meldungen
- FlashInfer auf ROCm routet AMD-GPU-Kernels automatisch
- Google erklärt, wie sich KI-Chatverläufe zu Gemini übertragen lassen
- Google führt Gemini-Computernutzung auf dem Mac für KI-Abonnenten ein
- MLPerf Endpoints testet KI-Dienste unter produktionsähnlicher Auslastung
- NVIDIA ergänzt DAQIRI-Datenerfassungsbibliothek um Paket-Neuordnung