S2PD: diffusione dal seriale al parallelo per generare video coerenti sul piano fisico e logico

Abstract degli autori

I modelli di diffusione video bidirezionali rimuovono il rumore da interi video in parallelo, eppure continuano a violare le leggi fisiche e semplici regole simboliche anche quando sono addestrati su dati appartenenti alla distribuzione di riferimento, di fatto illimitati, provenienti da generatori procedurali. Presentiamo Serial-to-Parallel Diffusion (S2PD), che esegue la diffusione autoregressiva ad alti livelli di rumore prima di passare alla diffusione parallela a bassi livelli di rumore. La fase autoregressiva fornisce il calcolo seriale necessario per coordinare eventi interdipendenti e produrre transizioni di stato valide, mentre la fase parallela perfeziona congiuntamente l’intero video e riduce il tempo di campionamento rispetto alla generazione interamente seriale. Realizziamo S2PD con due architetture: un transformer di diffusione nello spazio dei pixel addestrato da zero e un modello video preaddestrato adattato tramite fine-tuning con LoRA e attenzione causale. Nei giochi, nelle simulazioni fisiche e nei video reali, S2PD rispetta le regole in modo più affidabile rispetto a modelli di riferimento bidirezionali comparabili e genera video con maggiore stabilità temporale ed efficienza di campionamento rispetto ad altri metodi seriali.