Editing video in streaming con un adattamento semplice

Abstract degli autori

In questo articolo proponiamo SVEET, un framework che richiede soltanto l’addestramento su un modello di diffusione video bidirezionale preaddestrato, ma consente l’editing di video in streaming di alta qualità in modo autoregressivo. Per affrontare il problema, riesaminiamo anzitutto in modo sistematico gli approcci esistenti alla diffusione video-to-video e individuiamo due principi fondamentali per questo adattamento allo streaming: la separazione delle caratteristiche del backbone e l’indipendenza dei fotogrammi di condizionamento. Sulla base di queste osservazioni, sviluppiamo un nuovo paradigma per la generazione controllabile di video. Al centro del metodo, un ramo ausiliario del modello codifica i video sorgente mediante un meccanismo di autoattenzione temporalmente indipendente, e le caratteristiche intermedie vengono inserite nei blocchi corrispondenti del backbone per consentire un controllo compatibile con lo streaming. Inoltre, per colmare la discrepanza tra gli spazi delle caratteristiche dei modelli bidirezionali e di quelli per lo streaming, proponiamo uno schema di addestramento disaccoppiato che impone esplicitamente l’ortogonalità tra le direzioni di ottimizzazione della controllabilità del video e della causalità del modello. Questa separazione assicura la compatibilità tra i due obiettivi in fase di inferenza e facilita un trasferimento fluido delle conoscenze zero-shot tra architetture backbone eterogenee. Numerosi esperimenti dimostrano che SVEET raggiunge una qualità di editing superiore mantenendo prestazioni in tempo reale: arriva a 15 FPS su una singola GPU H100 17 senza alcuna tecnica ausiliaria di accelerazione. Il codice è disponibile all’indirizzo https://github.com/YujiaHu1109/SVEET.