LociArt: un paradigma unificato per la stilizzazione locale dei video a stile libero

Abstract degli autori

La stilizzazione video trasforma di solito intere scene, mentre la modifica artistica locale richiede un’associazione precisa tra regioni e stili, controllo spaziale e coerenza temporale. Presentiamo LociArt, un paradigma unificato per la stilizzazione locale dei video a stile libero che specifica esplicitamente dove intervenire e quale stile applicare, preservando i contenuti non interessati. Al centro del sistema c’è GRNStyle, che si basa sulle Generative Refinement Networks (GRN) e introduce una maschera polare sensibile allo stile: questa rappresenta le identità degli stili come direzioni di uguale norma all’interno delle regioni selezionate. Un condizionamento complementare basato su rappresentazione e geometria combina le caratteristiche codificate della maschera con il supporto spaziale della maschera non elaborata, integrando il contesto spaziotemporale con il controllo geometrico. Per fornire dati di supervisione in coppie, sviluppiamo una procedura automatizzata che combina stilizzazione globale, rimozione di oggetti dai video, matting e compositing, e costruiamo il LociArt-100K Dataset con 100K coppie per la stilizzazione locale. Definiamo inoltre il LociArt Benchmark, composto da 80 video sorgente e 84 maschere bersaglio che coprono 168 casi di stilizzazione del primo piano e dello sfondo, con uno schema di valutazione Style Prototype Similarity (SPS) per la qualità dello stile nelle singole regioni e misure complementari della preservazione dei contenuti non interessati e della coerenza temporale. Gli esperimenti mostrano che GRNStyle supera i metodi esistenti nella qualità dello stile nelle singole regioni e nel controllo spaziale, mantenendo una forte coerenza temporale. Esempi qualitativi illustrano inoltre la stilizzazione congiunta di più regioni con stili appresi uguali o diversi, nonostante l’addestramento sia avvenuto soltanto su coppie con una sola regione e un solo stile. Nel loro insieme, questi elementi offrono una base unificata per apprendere e valutare la stilizzazione locale controllabile dei video. Pagina del progetto: https://higherhu.github.io/lociart/.