Vai al contenuto
AI.info

The Pulse

Meituan afferma che il modello aperto per avatar LongCat genera video di oltre 10 minuti

Meituan ha rilasciato LongCat-Video-Avatar 1.6, un modello aperto per la generazione di video di persone guidata dall’audio. Il team afferma che può produrre video di oltre 10 minuti e si è classificato al secondo posto tra sei sistemi nel suo studio sulle preferenze umane.

Meituan afferma che il modello aperto per avatar LongCat genera video di oltre 10 minuti

Meituan ha rilasciato un modello aperto per generare video di persone guidati dall’audio che, secondo l’azienda, possono durare più di 10 minuti. La scheda del modello del team LongCat afferma che LongCat-Video-Avatar 1.6 riduce l’accumulo di errori quando si prolunga un video, preservando al contempo la qualità visiva, la coerenza dell’identità e la coerenza nel tempo.

La data di rilascio indicata nel repository GitHub del team è il 15 novembre 2026. Il modello supporta la generazione di video guidata dall’audio con uno o più personaggi e i suoi pesi sono disponibili su Hugging Face.

Video di avatar più lunghi

La nuova versione si basa su LongCat-Video-Avatar 1.5. La scheda del modello afferma che l’aggiornamento migliora la sincronizzazione tra labbra e audio, il coordinamento dei movimenti del viso e del corpo e la coerenza visiva durante la generazione di video lunghi.

Meituan afferma che l’aggiornamento riduce anche i movimenti della bocca esagerati o innaturali, la colorazione eccessivamente rossa delle labbra e l’instabilità della zona della bocca tra i fotogrammi. Secondo l’azienda, le modifiche alla pipeline di generazione e all’esecuzione del modello rendono l’inferenza più veloce e il deployment più efficiente.

Il repository del rilascio descrive una pipeline di post-training che combina apprendimento per rinforzo, una classifier-free guidance migliorata per la distillazione in pochi passaggi basata su DMD, rollout di video lunghi e distillazione on-policy. Il team attribuisce a questa pipeline la capacità di generare video più lunghi con una qualità visiva e una coerenza temporale migliori.

La scheda del modello presenta esempi per generare un video con una sola persona a partire da parlato e testo oppure da parlato e un’immagine. Include anche esempi per prolungare questi video e per generare e prolungare animazioni con più persone a partire da parlato e un’immagine.

Studio sulle preferenze

In uno studio sulle preferenze umane, il team ha confrontato il nuovo modello con il suo predecessore e con quattro sistemi commerciali: OmniHuman-2.0, HeyGen, OmniHuman-1.5 e Kling Avatar 2.0. Lo studio su tutte le coppie ha raccolto 33.051 voti individuali validi per 15 confronti tra coppie di modelli.

Il team riferisce che la versione 1.6 si è classificata al secondo posto tra i sei sistemi, con un punteggio Elo Bradley–Terry di 1068,1. Si è piazzata dietro OmniHuman-2.0 e davanti agli altri sistemi valutati, tra cui LongCat-Video-Avatar 1.5.

Pesi e configurazione

I pesi del modello sono rilasciati con licenza MIT. La licenza non concede il diritto di usare i marchi o i brevetti di Meituan.

Il pacchetto usa la stessa architettura di base della versione 1.5 e include due adattatori LoRA specifici per le attività, uno per DMD e uno per OPSD. È incluso anche un modello INT8 opzionale con quantizzazione dei soli pesi, che può essere attivato durante l’inferenza.

La scheda del modello include istruzioni per clonare il repository, installare le dipendenze e scaricare sia il modello LongCat-Video di base sia i pesi dell’avatar. Gli esempi di inferenza usano script separati per l’animazione con una sola persona e quella con più persone.

La scheda avverte che il modello non è stato progettato appositamente né valutato in modo esaustivo per ogni applicazione a valle. Invita gli sviluppatori a considerare le variazioni delle prestazioni tra le lingue e a valutare accuratezza, sicurezza ed equità prima del deployment in contesti sensibili o ad alto rischio.

Fonti

  1. Meituan LongCat on Hugging Face
  2. Meituan LongCat on GitHub

Notizie correlate

Esplora

Altri articoli