PVBench: misurare la plausibilità fisica nella generazione di video con misurazioni fisiche a livello di oggetto

Abstract degli autori

I recenti modelli di generazione video producono risultati visivamente convincenti, ma la loro plausibilità fisica resta poco misurata. La plausibilità fisica riguarda il rispetto, da parte degli oggetti generati, della geometria, della cinematica, della dinamica e delle leggi di conservazione. I benchmark esistenti si affidano a valutazioni grossolane di modelli visivo-linguistici oppure si concentrano su modelli del mondo incarnati, anziché sulla generazione video in sé. Presentiamo PVBench, un benchmark per video che misura quantitativamente la plausibilità fisica dei video generati lungo 46 dimensioni, organizzate in sette ambiti: i) aderenza alle istruzioni e fedeltà semantica, ii) coerenza comportamentale e causale, iii) qualità percettiva e temporale, iv) coerenza geometrica e spaziale, v) proprietà dei materiali e stati dei campi, vi) persistenza cinematica e spaziotemporale, vii) plausibilità meccanica e leggi di conservazione. PVBench comprende 600 prompt elaborati con cura, il 30% dei quali coinvolge agenti fisici incarnati, come bracci robotici, umanoidi, quadrupedi e sistemi multiagente. Per le dimensioni fisicamente misurabili più impegnative, associa a ciascuna modelli di visione specializzati che ricavano misurazioni verificabili e fondate sulla fisica, come la posa 6D a livello di oggetto, la scala metrica, le normali alle superfici, la cinematica e i residui numerici delle leggi di conservazione. Evita così di basarsi esclusivamente su punteggi soggettivi e supporta sia la generazione di video da testo sia quella da immagini. Infine, verifichiamo mediante una valutazione umana la concordanza tra le metriche automatiche e i giudizi delle persone. Valutiamo inoltre i principali modelli open source e closed source e presentiamo diverse osservazioni. Rendendo disponibili il benchmark, i prompt e il protocollo di calibrazione, intendiamo promuovere una generazione video fondata sulla fisica.