Denoising guidato da immagini non allineate tramite flow matching condizionale cross-modale

Abstract degli autori

Questo lavoro presenta UGD-FM, un nuovo framework per il denoising guidato da immagini non allineate, basato sul flow matching condizionale cross-modale. A differenza degli approcci precedenti, che presuppongono input allineati spazialmente o gestiscono soltanto coppie rettificate con baseline ridotta, affrontiamo uno scenario più impegnativo, in cui coesistono un rumore intenso nell’immagine target e un disallineamento cross-modale bidimensionale su un ampio intervallo. Nello specifico, formuliamo il denoising guidato come un processo progressivo di flow matching, che consente al ripristino dell’immagine e all’aggregazione delle informazioni guida allineate di rafforzarsi reciprocamente. Per supportare un’inferenza efficiente in pochi passaggi, introduciamo una strategia di addestramento focalizzata sulle fasi e coerente con l’inferenza, che si concentra sulle fasi di denoising critiche per il compito e attenua il disallineamento tra addestramento e inferenza. Proponiamo inoltre una propagazione sparsa adattiva delle informazioni guida, per un matching efficiente e affidabile su un ampio intervallo, regolarizzata mediante perdite ausiliarie percettive e geometriche. Gli esperimenti dimostrano che UGD-FM raggiunge prestazioni di denoising all’avanguardia con uno o due soli passaggi di inferenza ed è compatibile con i moderni backbone per il ripristino di singole immagini.