Leggere, scrivere, condividere e interagire con il mondo attraverso i video

Abstract degli autori

I modelli fondazionali per i video hanno compiuto rapidi progressi nella comprensione e nella generazione di sequenze visive, mentre i modelli del mondo basati sui video cercano di cogliere le dinamiche sottostanti del mondo che rappresentano. Nonostante i loro obiettivi diversi, entrambi riguardano il rapporto tra le osservazioni video e un mondo in evoluzione. Questa rassegna adotta la modellazione del mondo come prospettiva unificante per esaminare tali sviluppi. Considerando un video osservato come una proiezione parziale, con perdita di informazioni e ordinata nel tempo di un mondo latente che evolve nel tempo, organizziamo la letteratura attorno a quattro operazioni complementari: la lettura deduce le proprietà del mondo dal video osservato; la scrittura sintetizza video a partire da condizioni del mondo specificate o apprese; la condivisione integra comprensione e generazione attraverso meccanismi di modellazione comuni; l’interazione prevede e aggiorna gli stati del mondo in presenza di azioni e osservazioni in evoluzione. Questa prospettiva distingue la coerenza temporale delle sequenze osservate o generate dalla coerenza dello stato sottostante del mondo. Attraverso compiti, rappresentazioni, modelli, dataset e benchmark, ripercorriamo lo spostamento dell’attenzione dal riconoscimento a livello di clip e dalla fedeltà percettiva verso uno stato persistente, un’evoluzione controllabile, la validità fisica e causale e una valutazione fondata sull’interazione e sulle decisioni a valle, e individuiamo le sfide ancora aperte che ne derivano.