Forzatura nella distribuzione per la generazione di video lunghi in fase di test

Abstract degli autori

I moderni modelli autoregressivi (AR) di diffusione video eccellono nella generazione di video brevi, ma generare video lunghi resta difficile a causa della deriva: i colori e le texture cambiano e le dinamiche del movimento si attenuano. I lavori esistenti si basano principalmente sul condizionamento KV, che seleziona o modifica le voci chiave-valore (KV) memorizzate nella cache per mitigare la deriva. Osserviamo però che il solo condizionamento KV non basta, perché presuppone che le voci KV nella cache rimangano nella distribuzione di addestramento. Oltre l’orizzonte di addestramento, questa ipotesi non regge: nulla vincola la costruzione delle voci KV durante il rollout, dando origine al problema della provenienza delle KV, per cui le voci stesse nella cache finiscono fuori distribuzione (OOD). Per affrontarlo, proponiamo In-Distribution Forcing (ID-Forcing), un metodo applicato in fase di test che allinea sia la memorizzazione delle KV nella cache sia il condizionamento KV alle configurazioni di addestramento. Il suo meccanismo centrale, il self-caching, impedisce che le voci KV siano fuori distribuzione fin dall’origine. Ogni segmento viene memorizzato nella cache senza prestare attenzione alla voce KV precedente, mantenendo la finestra mobile esattamente nella distribuzione di addestramento. ID-Forcing estende così senza soluzione di continuità i modelli per video brevi alla generazione di video della durata di minuti. Valutazioni approfondite mostrano che il nostro metodo rimane competitivo su un benchmark standard di generazione video e supera nettamente i lavori precedenti nel mitigare la deriva, come confermano sia le nostre metriche della deriva sia uno studio condotto sugli utenti.