GeoSET: modello fondazionale generalista per la traduzione di immagini da SAR a EO

Abstract degli autori

Le immagini appaiate da radar ad apertura sintetica (SAR) e da sensori elettro-ottici (EO) sono sempre più disponibili per diversi sensori, risoluzioni e aree geografiche. Tuttavia, i metodi esistenti per la traduzione di immagini da SAR a EO (SET) vengono generalmente addestrati su un unico dataset di dimensioni limitate, producendo modelli specializzati per particolari condizioni di acquisizione. Presentiamo GeoSET, il primo modello generalista per SET, basato su un unico modello di partenza preaddestrato che viene adattato ai dataset successivi secondo un protocollo comune. Abbiamo raccolto oltre 3 milioni di coppie SAR-EO di alta qualità da più di 10 milioni di osservazioni SAR, che coprono diversi sensori, risoluzioni spaziali e distanze di campionamento al suolo. Per colmare il divario tra le osservazioni SAR e un generatore di immagini preaddestrato, sviluppiamo un codificatore SAR resistente allo speckle e preaddestriamo il generatore condizionale su questa raccolta eterogenea. Il modello di partenza così ottenuto consente un adattamento efficiente ai dataset successivi tramite l’adattamento a basso rango (LoRA), aggiornando solo lo 0,60% dei parametri del generatore e richiedendo circa un’ora per dataset. Su sei benchmark successivi, GeoSET ottiene risultati allo stato dell’arte in FID e DISTS sia con il fine-tuning completo sia con LoRA, dimostrando un trasferimento efficace tra domini SAR-EO eterogenei.