Editing tramite diffusione con maschera sfumata: rifacimento di immagini e video a livello di pixel con intensità regolabile

Abstract degli autori

I modelli di diffusione per l’editing guidato da prompt e immagini di riferimento hanno compiuto rapidi progressi, ma restano troppo grossolani per consentire un controllo a livello di pixel. Una strada promettente è incorporare una maschera sfumata che specifichi intensità di modifica diverse nelle varie aree dell’immagine. Addestrare un modello a un controllo così preciso richiede però costose annotazioni pixel per pixel, mentre i metodi zero-shot esistenti producono spesso risultati insoddisfacenti. Presentiamo SoftPaint, un nuovo metodo di campionamento zero-shot che sfrutta le maschere sfumate per consentire una gamma continua di modifiche: dalla conservazione integrale del contenuto originale alla risintesi completa della regione mascherata. Andando oltre i metodi di inpainting zero-shot, progettiamo un metodo di campionamento basato su iterazioni di Langevin che rispetta l’intensità della maschera sfumata per ciascun pixel. Il metodo è applicabile a tutti i modelli di diffusione per immagini e video e consente operazioni come l’editing video. Non richiede gradienti, è efficiente nell’uso della memoria e realizza modifiche fluide a livello di pixel con diverse backbone per immagini e video.