The Pulse
Kandinsky pubblica con licenza MIT il suo modello da 29 miliardi di parametri per video e audio
Kandinsky Lab ha rilasciato Kandinsky 6.0 come open source il 6 ottobre, incluso un modello da 29 miliardi di parametri per generare video con audio sincronizzato. Il modello crea clip di cinque secondi a partire da testo o immagini, ma i t
AI.info Team · Scritto con l’IA ·
Kandinsky Lab ha pubblicato un modello da 29 miliardi di parametri che crea clip video di cinque secondi con audio sincronizzato, compreso il parlato sincronizzato con il movimento delle labbra. Il rilascio, pubblicato su GitHub il 6 ottobre, comprende anche un modello più piccolo da 3 miliardi di parametri, il codice sorgente e i checkpoint con licenza MIT. Entrambi i modelli possono partire da un prompt testuale o da un’immagine accompagnata da testo; un ulteriore modello di super-risoluzione può portare l’output a 1920 × 1080.
Una famiglia di modelli, due dimensioni
Il modello più grande, Kandinsky 6.0 Video Pro, e la sua controparte più piccola, Video Lite, generano insieme video e audio, senza richiedere agli utenti di aggiungere una colonna sonora in un passaggio separato. Nel suo articolo, Team Kandinsky descrive così l’output: «Entrambi i modelli generano clip video di 5 secondi con audio sincronizzato a 44 kHz, compresa la sincronizzazione del movimento delle labbra, nelle modalità text-to-audio-video (T2AV) e image-to-audio-video (I2AV); un modello di super-risoluzione integrato porta la risoluzione dell’output al Full-HD (1920×1080)». Team Kandinsky et al., «Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation»
Il rapporto tecnico spiega che il sistema collega un flusso video preaddestrato a un flusso audio addestrato ex novo in un’architettura CrossDiT a doppio flusso. Un meccanismo di cross-attention bidirezionale collega i flussi per allineare contenuto e tempi. Gli autori descrivono l’addestramento iniziale del flusso audio, seguito dall’addestramento di entrambi i flussi su dati audio-video abbinati, dal fine-tuning supervisionato, dal post-addestramento basato sull’apprendimento per rinforzo e dalla distillazione.
Cinque secondi possono richiedere più di 20 minuti
Il numero di 29 miliardi di parametri si riferisce al modello Pro, non all’intera famiglia; Lite ne ha 3 miliardi. Il repository di Kandinsky indica tra i requisiti una GPU NVIDIA e Python 3.13 o 3.14 e offre configurazioni per diverse generazioni di GPU. Fornisce inoltre estensioni per ComfyUI e segnala che il supporto per vLLM-omni è stato aggiunto il 6 ottobre.
I tempi riportati nel repository stesso pongono un limite pratico a ciò che «disponibile» significa per gli utenti che eseguono il modello in locale. Per il modello Pro non distillato su una RTX 4090, Kandinsky riporta 936 secondi per una clip di cinque secondi a definizione standard, 1.194 secondi in HD e 1.247 secondi in Full HD: circa 16-21 minuti. Questi dati sono rilevati dopo il riscaldamento ed escludono il caricamento dei pesi e la codifica MP4; sono misurazioni del laboratorio, non un benchmark indipendente.
Il confronto non vede un vincitore su tutta la linea
L’articolo di Kandinsky riporta che i valutatori umani hanno preferito Video Pro al suo predecessore, Kandinsky 5.0 Video Pro, e descrive il nuovo modello come competitivo rispetto ai principali sistemi audio-video, soprattutto per il parlato. Anche i confronti condotti dal laboratorio mostrano però dei compromessi: secondo il rapporto, Veo 3.1 Fast è in testa su diverse misure relative all’audio e alla capacità di seguire i prompt, mentre Kandinsky ottiene risultati migliori su alcuni criteri visivi. Nel confronto con MiniMax H3, gli autori riportano che H3 è avanti sulla maggior parte dei criteri valutati.
Il rilascio mette a disposizione di ricercatori e sviluppatori il codice e i checkpoint dei modelli, che possono esaminare, adattare ed eseguire secondo i termini della licenza indicata. Ma i tempi riportati rendono evidente la differenza tra poter accedere al modello e poterlo usare comodamente: anche una clip a definizione standard del modello Pro richiede circa un quarto d’ora sulla configurazione con RTX 4090 indicata, senza contare il tempo di caricamento e codifica.