PhyProbe: ripensare la valutazione della coerenza fisica nei video generati

Abstract degli autori

Valutare la coerenza fisica dei video generati resta una sfida fondamentale. Gli approcci esistenti si affidano a modelli visione-linguaggio già disponibili, spesso poco sensibili alle dinamiche fisiche, oppure a valutatori sottoposti a fine-tuning su annotazioni umane, che si adattano eccessivamente a indizi specifici dei dataset e non riescono a generalizzare. Una difficoltà centrale è che le fonti di supervisione esistenti forniscono un ordinamento relativo oppure punteggi assoluti, ma non entrambi in modo affidabile e coerente in contesti diversi. Per affrontarla, presentiamo PhyProbe, un valutatore che estrae caratteristiche da un encoder spazio-temporale preaddestrato e congelato e le converte, tramite un modulo leggero di assegnazione del punteggio, in un punteggio scalare di violazione della coerenza fisica. PhyProbe viene addestrato con un obiettivo unificato che combina ordinamento a coppie, regressione su annotazioni scalari rumorose e calibrazione basata su ancore, utilizzando un insieme selezionato di fonti di supervisione eterogenee. Gli esperimenti mostrano che PhyProbe supera i metodi precedenti nella maggior parte dei benchmark a coppie, sia per coppie composte da un video reale e uno generato sia per coppie di video entrambi generati, con diversi gradi di corrispondenza. I miglioramenti maggiori si osservano in assenza di corrispondenza e nelle coppie di video entrambi generati, contesti in cui le prestazioni dei valutatori esistenti sottoposti a fine-tuning peggiorano nettamente. PhyProbe ottiene una forte correlazione con i giudizi umani, con una stretta concordanza tra metriche basate sul rango e metriche lineari: ciò indica che i punteggi sono sia ben ordinati sia ancorati a una scala stabile [0, 1]. Inoltre, pur essendo addestrato con dati di supervisione indicativi della coerenza fisica, senza etichette esplicite sulle preferenze generali, PhyProbe ottiene risultati competitivi anche nei benchmark sulle preferenze umane, coerentemente con l’osservazione che le violazioni delle leggi fisiche sono intrecciate a peggioramenti più generali della qualità.