FilmFlow: un sistema agentico per le riprese cinematografiche virtuali in 3D

Abstract degli autori

I movimenti complessi della cinepresa sono centrali nella narrazione visiva, ma tradurre un intento cinematografico in traiettorie controllabili ed eseguibili resta difficile. Presentiamo FilmFlow, un sistema agentico che trasforma istruzioni in linguaggio naturale o video di riferimento in traiettorie esplicite della cinepresa per ambienti 3D dinamici. Per generarle, un agente Director costruisce piani di movimento eseguibili combinando movimenti di alto livello a partire da operazioni atomiche simultanee che controllano insieme traslazione, rotazione e inquadratura. Il Director è affiancato da tre agenti specializzati: un Interpreter, che ricava l’intento cinematografico in relazione alla scena; uno Scout, che seleziona i punti di vista iniziali; e un Critic, che valuta i risultati renderizzati e fornisce riscontri visivi per perfezionare iterativamente il piano. Presentiamo inoltre CinemaBench, che comprende 150 scene Blender provenienti da fonti create dagli autori e da fonti concesse in licenza, con cinque istruzioni per la cinepresa per ciascuna scena, per un totale di 750 compiti guidati dal testo, e 60 video di riferimento associati a un sottoinsieme delle scene. CinemaBench consente di valutare la generazione di traiettorie della cinepresa guidata sia dal testo sia da video di riferimento. Rispetto a un insieme eterogeneo di metodi di riferimento valutati, FilmFlow ottiene i migliori risultati nel benchmark e la preferenza più alta degli utenti, dimostrando capacità efficaci di ragionamento spaziale, coordinamento temporale e composizione visiva per riprese cinematografiche 3D eseguibili.