GeoCR: apprendere un prior generalista per la rimozione delle nuvole da osservazioni eterogenee

Abstract degli autori

I metodi di rimozione delle nuvole sono generalmente specializzati per singoli dataset e configurazioni di input, il che ne limita il riutilizzo con sensori, bande spettrali e condizioni di osservazione diversi. Presentiamo GeoCR, un modello generalista che riunisce in un’unica rete la rimozione delle nuvole basata sul solo RGB e quella basata su dati multispettrali, a partire da osservazioni nuvolose mono- o multitemporali, con la possibilità di usare dati SAR come guida. Per gestire domini spettrali e modalità di rilevamento differenti, moduli compatti di input e output estendono un autoencoder RGB preaddestrato, mantenendo congelate le parti principali del suo encoder e del suo decoder. Questa interfaccia latente condivisa consente a un unico transformer di flusso di modellare congiuntamente rappresentazioni latenti RGB e non RGB prive di nuvole, sulla base di flussi separati di osservazioni nuvolose ed eventuali token SAR. Attraverso un preaddestramento congiunto sulle partizioni di addestramento di dieci dataset comprendenti 883.331 immagini bersaglio prive di nuvole, GeoCR apprende un prior condiviso per la rimozione delle nuvole da queste configurazioni eterogenee. Lo stesso checkpoint preaddestrato consente sia l’inferenza diretta senza fine-tuning specifico per il dataset, sia un adattamento efficiente tramite adattamento a basso rango (LoRA). Valutiamo GeoCR rispetto a metodi generali di restauro delle immagini e a metodi di rimozione delle nuvole sulle partizioni di test dei dataset utilizzati, in configurazioni con tutte le bande e con il solo RGB. GeoCR ottiene i migliori valori di FID e DISTS su SEN12MS-CR e Sen2_MTC_New con tutte le bande e su CUHK-CR2 con il solo RGB, superando i modelli esistenti e dimostrando l’efficacia di un modello generativo riutilizzabile in contesti diversi.