Quando l’errore di previsione nello spazio latente consente di sostenere affermazioni sulla sorpresa fisica nei modelli del mondo video?

Abstract degli autori

Gli errori di previsione dei modelli del mondo video sono spesso considerati una misura della sorpresa fisica, ma possono anche riflettere l’aspetto, i contenuti statici, il movimento o la normale difficoltà di previsione. Presentiamo un quadro di valutazione che distingue ciò che contengono le rappresentazioni congelate, il modo in cui organizzano le differenze di aspetto e fisiche, e ciò che modifica l’errore di previsione proprio del modello. Su IntPhys2, un benchmark di eventi fisicamente possibili e impossibili, confrontiamo rappresentazioni ottenute dalla previsione nello spazio latente, dalla ricostruzione di pixel mascherati e da semplici statistiche visive. L’aspetto resta facile da decodificare, mentre V-JEPA2 fornisce informazioni modeste sulla possibilità o impossibilità degli eventi. Esaminando la geometria latente, i cambiamenti di aspetto diventano più piccoli rispetto alle differenze tra i video, le loro direzioni si allineano in modo più coerente tra le scene e la loro sovrapposizione con i cambiamenti fisici diminuisce negli strati più profondi. Nei modelli condizionati dalle azioni, le azioni scorrette aumentano l’errore di previsione, ma anche i cambiamenti di aspetto producono risposte considerevoli. Nei filmati di Physion++, ripetere un singolo fotogramma può produrre un errore maggiore rispetto al filmato originale, mentre cambiare colore per tutta la durata del filmato può ridurlo. Usando Kubric, un framework di simulazione e rendering, scopriamo che gli eventi impossibili possono produrre un errore inferiore a quello degli eventi possibili. Anche una soglia fissa dell’errore segnala erroneamente come impossibili molti eventi possibili. Un modello può quindi rappresentare informazioni fisiche e rispondere ad azioni scorrette senza che il suo errore di previsione nativo misuri in modo affidabile la sorpresa fisica.