The Pulse
Pika rilascia H3 Flex, un modello video e audio a pesi aperti
Pika ha rilasciato H3 Flex, un modello video e audio sottoposto a post-addestramento su MiniMax H3, con adapter del generatore e codice di inferenza per l’uso locale. La versione a pesi aperti supporta l’audio sincronizzato a 480p e 768p, m
AI.info Team · Scritto con l’IA · verificato ·
«La prima generazione è un punto di partenza. Il lavoro creativo è ciò che accade dopo.»
Il team Pika
Pika ha annunciato H3 Flex il 29 ottobre, descrivendolo come una versione di MiniMax H3 sottoposta a post-addestramento che crea video con audio sincronizzato. L’azienda rilascia gli adapter del generatore e il codice di inferenza affinché sviluppatori e ricercatori possano eseguire e personalizzare il modello sul proprio hardware. Il lancio presenta una distinzione importante: la versione scaricabile non include tutte le funzioni disponibili tramite il servizio ospitato da Pika.
Cosa include la versione a pesi aperti di H3 Flex
Il codice e gli adapter rilasciati coprono la generazione di video da testo, la generazione a partire dal primo e dall’ultimo fotogramma e la generazione di video da riferimenti con diversi tipi di input. La generazione locale produce audio sincronizzato a 480p o 768p; secondo il post di lancio, Flex può accettare fino a 12 file di riferimento, combinando immagini, video e audio. La descrizione tecnica di Pika presenta il modello come un generatore a sei passaggi distillato da una versione a 50 passaggi di MiniMax H3.
Pika afferma che una clip di 15 secondi a 768p può richiedere appena sette secondi di calcolo del transformer. Questa cifra misura il calcolo del modello in un benchmark controllato, non il tempo che un utente deve necessariamente attendere per il completamento di una richiesta API. L’elaborazione dei riferimenti, l’hardware, il carico aggiuntivo del servizio, la separazione delle tracce audio e la finalizzazione ad alta risoluzione possono allungare i tempi.
La finalizzazione in 4K e le tracce audio restano ospitate da Pika
La versione aperta non include l’upsampler per l’output a 1080p, 2K e 4K, il sistema di separazione delle tracce audio, il miglioramento facoltativo dei prompt o lo stack accelerato di erogazione di Pika. Queste funzioni restano ospitate da Pika e le prestazioni in locale dipendono dall’hardware e dalla configurazione dell’utente. Flex genera nativamente a 480p o 768p; l’upsampler ospitato da Pika porta le clip selezionate a risoluzioni superiori.
Gli utenti dell’API ospitata possono richiedere cinque tracce audio separate: dialoghi, colonna musicale, effetti sonori, rumoristica e suoni ambientali. La separazione permette a chi monta il video di regolare i singoli componenti sonori anziché un’unica colonna sonora combinata. Pika afferma che il modello di base genera video con audio stereo sincronizzato, mentre la separazione delle tracce è una funzione distinta ospitata da Pika.
Le dichiarazioni di Pika su velocità e qualità
Pika riferisce che il suo post-addestramento riduce la generazione da 50 passaggi di rimozione del rumore a sei. Nel suo approfondimento tecnico, l’azienda afferma che il modello ha superato i sistemi valutati in diverse categorie, tra cui anatomia umana, composizione complessa e sincronizzazione audio per la generazione condizionata da testo e immagini. Il confronto ha utilizzato output a 768p e ha incluso MiniMax H3, Fal H3 Max e HeyGen Video; Pika riconosce anche risultati più deboli in aree come la fisica, la coerenza tra più scene e il controllo di riferimenti complessi.
L’azienda afferma che al lancio H3 Flex si è classificato primo tra i modelli a pesi aperti e settimo nella classifica generale della graduatoria di DesignArena per la generazione di video da testo. Queste posizioni riflettono la situazione al momento del lancio e la valutazione tecnica di Pika è riferita dall’azienda, non è una valutazione indipendente. Le dichiarazioni offrono un contesto di benchmark, ma non dimostrano che ogni flusso di lavoro o configurazione hardware locale produrrà gli stessi risultati.
L’accesso via API precede l’arrivo nell’app principale per la creazione
Pika afferma che H3 Flex è disponibile tramite la sua API, con i pesi su Hugging Face e il codice di inferenza su GitHub; il post tecnico indica anche l’accesso tramite ComfyUI e Diffusers. Il modello è disponibile tramite Pika API Club, mentre l’azienda afferma di prevedere l’aggiunta di Flex al suo prodotto per la creazione il 2 novembre. Gli sviluppatori possono basarsi sui componenti rilasciati nel rispetto dei termini di licenza del modello, ma le funzioni di finalizzazione ed erogazione ospitate da Pika restano escluse dalla versione locale.
Per gli utenti che cercano di capire se «pesi aperti» significhi una pipeline di produzione completa ospitata autonomamente, il confine è concreto: la generazione locale di video con audio sincronizzato è inclusa, ma non lo sono la finalizzazione in 4K e l’esportazione audio in cinque tracce promosse da Pika. Il rilascio di H3 Flex rende disponibile il generatore per l’esecuzione e la modifica, lasciando però sul servizio di Pika diversi dei suoi passaggi di post-produzione più rifiniti.