Dietro la generazione video: osservazioni e approfondimenti sulla comprensione multimodale di Kling

Abstract degli autori

La generazione video è passata da clip isolate a brevi sequenze audiovisive coerenti, e il collo di bottiglia si sta spostando dal rendering al controllo semantico. Questo rapporto riassume le osservazioni e gli approfondimenti sulla comprensione multimodale emersi dalle generazioni successive di Kling. Sosteniamo che la qualità della generazione sia la proiezione della comprensione multimodale lungo l’intera catena dati--condizionamento--allineamento--valutazione, ed esaminiamo questa catena modulo per modulo. Kling-MLLM, un modello multimodale di base condiviso che unifica input di immagini, video, audio, audio--video sincronizzato e input intercalati, viene specializzato per ciascun modulo a valle. Poiché un DiT viene addestrato su un numero di campioni di training molto inferiore rispetto a un modello linguistico, consideriamo il captioning un contratto semantico che massimizza la densità descrittiva e lo estendiamo al captioning ancorato ai riferimenti, che rende esplicite le associazioni ai riferimenti. Il prompt enhancement traduce l’intento dell’utente in questa distribuzione di didascalie: il PE di base deriva dalle didascalie di video coinvolgenti ed è perfezionato con il reinforcement learning a livello testuale e con il generatore nel ciclo, mentre il PE agentico perfeziona la storia e recupera esempi coinvolgenti. Mostriamo che un encoder testuale affidabile deriva dall’addestramento percettivo, non da una maggiore capacità linguistica, e che i candidati possono essere selezionati basandosi soltanto sul testo prima dell’addestramento end-to-end. Il reward modeling abbina un modello di reward generale, per critiche spiegabili e localizzate, a un modello di reward decisionale, per una valutazione multidimensionale rapida, trattando la larghezza di banda percettiva come un parametro di progettazione fondamentale. Infine, passiamo in rassegna la valutazione automatica specifica per ciascun compito, concentrandoci sui protocolli che mettono in luce le scorciatoie di valutazione e aiutano a ricondurre gli errori alla loro origine a monte. Ci auguriamo che queste lezioni offrano indicazioni pratiche per costruire lo stack di comprensione alla base della generazione video controllabile.