PhyRubric: valutazione diagnostica del buon senso fisico nella generazione da testo a video basata su griglie di valutazione

Abstract degli autori

Poiché i modelli text-to-video (T2V) sono sempre più considerati simulatori del mondo, è essenziale valutare se i loro video rispettano il buon senso fisico. Tuttavia, i benchmark esistenti si affidano ad annotatori che assegnano a ciascun video un unico punteggio basato sull’intuizione: le valutazioni risultano così soggettive e non indicano quale principio fisico venga violato. Presentiamo PhyRubric, un framework diagnostico basato su griglie di valutazione per valutare il buon senso fisico nella generazione T2V. Per ogni didascalia, PhyRubric crea una griglia specifica prima di esaminare qualsiasi video, scomponendo la didascalia in elementi semantici e fisici, e ricava i punteggi da valutazioni dei singoli elementi basate su evidenze con indicazione temporale. Implementiamo questo framework in PhyRubric-Bench, che comprende 34 categorie distribuite in cinque domini fisici, e lo ampliamo con PhyRubric-Train, che include 3.788 video e sul quale effettuiamo il fine-tuning del modello open source PhyRubric-Judge. I risultati empirici ottenuti su dieci modelli T2V mostrano che il buon senso fisico è ancora ben lontano dall’essere risolto e che PhyRubric-Judge è più in linea con i giudizi umani rispetto agli altri giudici open source, e al tempo stesso è alla pari con il modello proprietario all’avanguardia Gemini 4 Argon. Ulteriori analisi forniscono indicazioni utili per intervenire sui modelli T2V.