PhysOPSD: il codice come privilegio per la generazione di video fisicamente plausibili

Abstract degli autori

Sebbene i moderni modelli generativi di video raggiungano una notevole fedeltà visiva, restano sensibilmente fragili nella generazione di dinamiche fisicamente plausibili e interazioni complesse. Il post-training mirato è cruciale, ma il fine-tuning supervisionato soffre di una discrepanza dello stato offline, mentre l’apprendimento per rinforzo è ostacolato da funzioni di ricompensa fisica sparse e mal definite. La distillazione on-policy (self-)distillation (OPSD) concilia i rollout on-policy con un feedback correttivo denso, spostando la sfida centrale sulla progettazione di un contesto privilegiato efficace. Tuttavia, le modalità convenzionali non sono all’altezza: i prompt testuali sono intrinsecamente dichiarativi, mentre i video di riferimento reali intrecciano strettamente le leggi fisiche e l’aspetto visivo, senza offrire un controllo parametrico. A tal fine, proponiamo PhysOPSD, che introduce il codice eseguibile come contesto fisico privilegiato per la generazione di video. A differenza delle osservazioni visive statiche, il codice eseguibile dà forma a un mondo fisico modificabile, dotato di astrazione e controllabilità intrinseche. Grazie a PhysOPSD-Engine, traduciamo scenari fisici del mondo reale in programmi di simulazione verificabili. PhysOPSD incorpora quindi (i) un privilegio fisico su due livelli, che colma il divario informativo tramite un collo di bottiglia intermedio, e (ii) variazioni fisiche controllate in presenza di rumore di rollout condiviso, per mettere in luce i cambiamenti causali nella dinamica. Esperimenti approfonditi dimostrano che PhysOPSD migliora sostanzialmente la plausibilità fisica con diversi backbone, superando i baseline SFT e RL con appena $3$K campioni, pur preservando la qualità generale della generazione video.