FlashRelight: ri-illuminazione dei video di ritratto con illuminazione dinamica

Abstract degli autori

La ri-illuminazione dei video di ritratto mira a modificare l’illuminazione di un video di ritratto preservando il fotorealismo e la stabilità temporale. Il compito diventa particolarmente impegnativo in condizioni di illuminazione dinamica, in cui la direzione, l’intensità e il colore della luce variano nel tempo. Per affrontare questo problema, introduciamo FlashRelight, un nuovo framework in due fasi per la ri-illuminazione dinamica dei video di ritratto. FlashRelight attenua innanzitutto l’illuminazione originale rimuovendola, quindi sintetizza l’illuminazione dinamica desiderata su un video di ritratto con illuminazione neutra. FlashRelight supporta tre modalità di controllo complementari: sequenze di mappe ambientali per un controllo esplicito dell’illuminazione a livello di singolo fotogramma, testi sull’illuminazione dinamica per la modifica semantica dell’illuminazione e video di riferimento per il trasferimento visivo dell’illuminazione. L’addestramento segue una strategia ibrida a basso costo che combina dati statici con una luce alla volta (OLAT) e video di ritratto generati con illuminazione dinamica, coprendo sia le variazioni controllate dell’illuminazione sia i movimenti realistici del ritratto. Esperimenti approfonditi mostrano che FlashRelight ottiene una ri-illuminazione dinamica coerente nel tempo e fotorealistica, consentendo al contempo un trasferimento flessibile dell’illuminazione tra video. Il codice è disponibile all’indirizzo https://github.com/vivoCameraResearch/FlashRelight