Any Time, Any Space: un framework incentrato sullo stato del mondo per la generazione agentica di video

Abstract degli autori

La generazione agentica di video di lunga durata deve trasformare una sceneggiatura in inquadrature che restino coerenti nello spazio e nel tempo anche quando le richieste non sono consecutive. Passare prompt o fotogrammi recenti da un’inquadratura all’altra non fornisce né un sistema di riferimento spaziale condiviso per tornare su una scena, né un registro indicizzato nel tempo per riprodurre un evento precedente. Presentiamo Any Time, Any Space (ATAS), che traduce una sceneggiatura in richieste di inquadrature con riferimenti espliciti al luogo, alla telecamera e al tempo degli eventi. Prima della generazione, ATAS recupera le informazioni pertinenti da una memoria delle scene, che contiene la geometria statica registrata, e da una memoria degli eventi, che contiene osservazioni dinamiche indicizzate per scena, evento e tempo. Dopo la generazione, ATAS ricostruisce e registra la clip. Aggiorna la memoria solo quando la revisione e i controlli sullo stato accettano l’osservazione, mentre la consegna del filmato resta indipendente dall’inserimento nella memoria. Con quattro generatori video, ATAS migliora tutte le misure di coerenza tra inquadrature riportate e ottiene il punteggio aggregato più alto nel benchmark per ciascun backbone. Supera inoltre gli agenti e i metodi guidati dal 3D con cui viene confrontato nella rivisitazione spaziale dell’immagine bersaglio, primeggia in tre criteri di ricattura degli eventi e riceve le valutazioni umane più alte in tutti e sei i criteri. I risultati video e il codice sono disponibili sulla pagina del progetto: https://lhmd.top/atas/.