WorldCast: generazione di video di personaggi coerente con il mondo con controllo della telecamera su ampie angolazioni

Abstract degli autori

Un controllo preciso della telecamera è essenziale per generare video cinematografici di personaggi, ma i metodi esistenti faticano a seguire traiettorie ad ampie angolazioni che combinano rotazione, traslazione e variazione del raggio a partire da azimut iniziali arbitrari. Questi cambiamenti di punto di vista rivelano inoltre parti del personaggio non visibili nel fotogramma iniziale, causando distorsioni geometriche, un degrado dell’aspetto e una perdita di coerenza dell’identità. Per studiare sistematicamente queste sfide interconnesse, introduciamo CLACT, un dataset e benchmark su larga scala incentrato sui personaggi che comprende diverse traiettorie della telecamera ad ampie angolazioni, con una geometria della telecamera accurata e osservazioni dei personaggi da più punti di vista per l’addestramento e la valutazione. Proponiamo inoltre WorldCast, un framework per generare video di personaggi coerenti con il mondo in presenza di diversi movimenti della telecamera ad ampie angolazioni. In particolare, proiettiamo a ritroso il fotogramma iniziale in una nuvola di punti 3D usando una stima della profondità, allineiamo la scala della nuvola di punti alla traiettoria desiderata della telecamera e la renderizziamo lungo tale traiettoria per ottenere indicazioni geometriche esplicite e maschere di copertura. Per integrare le informazioni incomplete sul personaggio, introduciamo Geometry-Aligned Memory Attention (GAMA). Usando le pose relative della telecamera stimate congiuntamente dal fotogramma iniziale e da riferimenti del personaggio osservato da più punti di vista, rappresentiamo la geometria dei riferimenti e della vista di destinazione in un sistema di coordinate comune. GAMA sfrutta questo allineamento geometrico per guidare, durante la generazione, il recupero e l’inserimento delle caratteristiche del personaggio pertinenti alla vista. Le valutazioni su diverse traiettorie della telecamera ad ampie angolazioni dimostrano che il metodo segue accuratamente la traiettoria, preservando geometria, aspetto e identità del personaggio.