PhysStream: generazione di video in streaming fondata sulla fisica, con memoria strutturata della scena e controllo dettagliato del movimento

Abstract degli autori

Il controllo interattivo della generazione di video sta passando dai prompt generici alla manipolazione dettagliata e fisicamente significativa delle scene dinamiche. I metodi di controllo esistenti, però, richiedono l’intera sequenza dei comandi prima che inizi la generazione oppure usano segnali a livello di pixel che impongono le posizioni degli oggetti anziché governarne la dinamica fisica. Per superare questi limiti, proponiamo PhysStream, un modello autoregressivo per la sintesi di video a partire da immagini, fondato sulla fisica. Il modello incorpora una memoria strutturata della scena — mappe posizionali e mappe di tracciamento degli oggetti ricavate durante la generazione dai fotogrammi già prodotti — e consente un controllo dettagliato del movimento tramite segnali sparsi di incremento della velocità che codificano grandezze fisiche, permettendogli di apprendere le dinamiche sottostanti. Addestriamo il modello in due fasi: dapprima sottoponiamo un modello bidirezionale a fine-tuning con un condizionamento basato sul controllo del movimento; poi addestriamo un modello autoregressivo causale con una memoria strutturata della scena aggiuntiva, migliorando ulteriormente la coerenza fisica. PhysStream consente di controllare interattivamente, durante la generazione, scene da tavolo con più oggetti rigidi — una capacità non offerta dai metodi precedenti. Rispetto ai migliori metodi di riferimento, riduce del 33% la distanza tra le distribuzioni del movimento (FVMD) e del 12% l’errore delle traiettorie nei benchmark sintetici; inoltre, è preferito dai valutatori umani in oltre l’85% dei confronti in contesti reali. Per maggiori dettagli, consultate il nostro sito: https://czzzzh.github.io/PhysStream