Benchmark mondiale degli embedding

Abstract degli autori

La fedeltà fisica riceve sempre più attenzione nei modelli del mondo e nella generazione di video, ma si comprende ancora poco come le rappresentazioni video codifichino le informazioni fisiche. Presentiamo World Embedding Benchmark, che comprende 8.000 casi di simulazione controllata appartenenti a 80 famiglie, tra meccanica dei fluidi, meccanica dei solidi, dinamica e ottica & elettromagnetismo. Ogni caso associa un video renderizzato ad annotazioni fisiche ricavate dalla simulazione e supporta tre compiti complementari: ricerca testo-video, regressione delle proprietà fisiche e classificazione a scelta multipla di coppie video-descrizione. Usiamo questi compiti per distinguere l’allineamento fisico tra modalità dalla possibilità di recuperare informazioni fisiche quantitative. I modelli di embedding omnimodali preaddestrati che abbiamo valutato mostrano prestazioni scarse nella ricerca e una classificazione delle coppie della stessa famiglia poco superiore al caso. Sonde leggere, invece, riescono a recuperare informazioni fisiche utili dagli embedding video mantenuti fissi. L’addestramento contrastivo continuo su coppie video-testo specifiche per la fisica migliora la ricerca e la classificazione delle coppie, ma peggiora la regressione delle proprietà fisiche, rivelando un compromesso tra allineamento e possibilità di recuperare informazioni quantitative. Infine, usiamo gli embedding per cercare video di riferimento destinati alla generazione aumentata dal recupero con MiniMax-H3. I riferimenti recuperati migliorano la fedeltà fisica dei video generati e, nei nostri esperimenti, modelli di ricerca più efficaci producono miglioramenti maggiori. Nel complesso, questi risultati evidenziano la necessità di valutare congiuntamente l’allineamento fisico e la possibilità di recuperare le proprietà, e dimostrano l’utilità delle rappresentazioni fisiche per migliorare la generazione di video.