ReFlowSET: flow matching latente allineato alle rappresentazioni per la traduzione di immagini SAR in immagini EO

Abstract degli autori

La traduzione di immagini SAR in immagini EO mira a generare immagini elettro-ottiche (EO) a partire da osservazioni radar ad apertura sintetica (SAR). Gli approcci esistenti basati sulla diffusione latente adottano di norma un autoencoder prestabilito, sebbene la fedeltà della ricostruzione possa variare notevolmente tra codec e modalità. Poiché il codec latente influisce sulla conservazione delle condizioni SAR e delle immagini EO di riferimento nel passaggio di andata e ritorno, la sua scelta è una decisione progettuale fondamentale; ciononostante, i metodi esistenti si affidano per lo più a codec preaddestrati su immagini naturali. Per ovviare a questo limite, presentiamo ReFlowSET, un framework condizionale di flow matching latente che seleziona il codec attraverso una valutazione congiunta della ricostruzione SAR–EO. Anziché adottare un generatore preaddestrato di grandi dimensioni, ReFlowSET addestra da zero un DiT condizionale molto più piccolo nello spazio latente selezionato, con un condizionamento SAR a due flussi seguito da un affinamento congiunto delle caratteristiche. Per fornire una guida semantica a questo addestramento da zero, le caratteristiche intermedie delle immagini EO con rumore vengono allineate alle rappresentazioni delle immagini EO di riferimento prive di rumore, estratte da un modello fondazionale per la visione mantenuto fisso. Questo allineamento è usato solo durante l’addestramento e non comporta costi aggiuntivi in fase di inferenza. Gli esperimenti su QXS-SAROPT e SAR2Opt mostrano prestazioni allo stato dell’arte secondo diverse metriche di fedeltà percettiva e di distribuzione. Il codice e i pesi preaddestrati sono disponibili pubblicamente all’indirizzo https://github.com/KAIST-VICLab/ReFlowSET.