Vai al contenuto
AI.info

The Pulse

Apple rilascia il modello video FastFrames-L per la ricerca

FastFrames-L è un modello text-to-video da 14 miliardi di parametri, rilasciato insieme al modello più piccolo FastFrames-S. Apple afferma che entrambi generano video a 480p con una latenza interattiva e che la licenza del modello ne limita l’uso alla ricerca.

Apple rilascia il modello video FastFrames-L per la ricerca

Apple ha rilasciato FastFrames-L, un modello text-to-video da 14 miliardi di parametri, insieme a una versione più piccola da 1,3 miliardi di parametri chiamata FastFrames-S. Entrambi sono modelli di diffusione autoregressivi a due passaggi che generano video a 480p con latenza interattiva, secondo la scheda del modello pubblicata dall’azienda su Hugging Face.

Il rilascio comprende checkpoint dei modelli, script per la generazione e la valutazione e una dimostrazione interattiva. La licenza del modello limita l’uso alla ricerca ed esclude prodotti e servizi commerciali.

Come sono stati realizzati i modelli

Per FastFrames-L, Apple ha distillato Wan2.1-14B in un modello causale a due passaggi usando la ricetta di addestramento Causal Forcing++, quindi ha addestrato un decoder di pixel e una rete di raffinamento key-value. I checkpoint rilasciati comprendono un teacher causale addestrato su rappresentazioni latenti generate da Wan2.1-14B, un modello distillato con consistency distillation, un modello distillato con DMD e il generatore finale con le reti che lo accompagnano.

Per FastFrames-S, l’azienda ha mantenuto congelato il generatore Causal Forcing++ a due passaggi, che opera frame per frame, e ha addestrato le reti che lo circondano. La scheda del modello identifica Wan2.1, Self-Forcing e Causal Forcing++ come progetti precedenti su cui si basano il codice e i modelli FastFrames.

Generazione e tempi

Un comando di esempio per la generazione video con FastFrames-S produce video di 832 per 480 pixel, con 81 frame a 16 frame al secondo. Lo stesso script di generazione può essere configurato per usare FastFrames-L. È fornito uno script separato per generare gli oltre 20 video presenti nella pagina del progetto.

La configurazione richiede Linux x86-64, una GPU NVIDIA e un driver compatibile con CUDA 12.8, oltre a FastFrames e pesi di terze parti. Il rilascio fornisce anche comandi per la profilazione della latenza e istruzioni per riprodurre i punteggi di qualità, semantici e complessivi usando VBench.

Apple fornisce una ripartizione dei tempi di esempio per FastFrames-S a 480p, su una GPU e con una cache key-value completa: i componenti totalizzano 35,4 millisecondi. Le due valutazioni del transformer di diffusione richiedono rispettivamente 16,1 e 16,2 millisecondi, mentre il raffinamento key-value richiede 2,2 millisecondi e il decoder di pixel 0,9 millisecondi. La scheda del modello riporta queste cifre per il modello più piccolo, non per FastFrames-L.

Demo e termini di licenza

Il rilascio comprende anche un modello LingBot 1.3B ottimizzato per il controllo condizionato dalla telecamera. Apple afferma che questa versione è 16 volte più veloce del modello ufficiale e consente un controllo fluido condizionato dalla telecamera; la demo interattiva può essere avviata con una o otto GPU.

Il codice e i pesi di LingBot-World v2 mantengono la licenza upstream CC BY-NC-SA 4.0. Il resto del codice FastFrames è concesso in licenza secondo la Apple Sample Code License.

Fonti

  1. Apple
  2. Apple

Notizie correlate

Esplora

Altri articoli