Possiamo modellare esplicitamente gli artefatti? Separare gli artefatti tramite relazioni di modifica a coppie per localizzare le manipolazioni delle immagini

Abstract degli autori

La localizzazione delle manipolazioni delle immagini (IML) è comunemente formulata come un problema di apprendimento interamente supervisionato, in cui si stima la maschera ottimale delle manipolazioni $y$ per una data immagine $x$. In questo lavoro mostriamo innanzitutto la natura latente degli artefatti e riformuliamo quindi l’IML come un problema a variabili latenti, $P(y|x)=\int P(y|z)\,P(z|x)\,dz$, dove $z$ rappresenta gli artefatti. Da questa interpretazione individuiamo la causa dei limiti degli attuali modelli IML nella loro strategia di modellazione implicita degli artefatti, evidenziando la necessità di modellare $z$ esplicitamente. In assenza di etichette dirette, la separazione delle caratteristiche è la soluzione più appropriata per questa modellazione esplicita. Proponiamo perciò un paradigma di apprendimento in due fasi, Pairwise Artifacts Learning (PAL) e Standard Localization (SL), per stimare $P(z|x)$ e $P(y|z)$ tramite relazioni di modifica. A sostegno di questo apprendimento basato sulle relazioni di modifica, abbiamo inoltre creato EditGroup-45K, un dataset ancorato alla fonte e organizzato in gruppi di modifiche per la costruzione di coppie. Numerosi esperimenti mostrano che il nostro paradigma PAL produce miglioramenti costanti su diverse architetture IML; analisi empiriche confermano inoltre che PAL cattura esplicitamente gli artefatti attraverso la separazione delle caratteristiche. Il codice e il dataset sono disponibili all’indirizzo https://github.com/venus-guangjian/PAL