Verso rappresentazioni geospaziali coerenti: allineare un unico encoder a più modelli fondazionali

Abstract degli autori

I modelli fondazionali geospaziali (GFM) differiscono notevolmente per obiettivo di preaddestramento, modalità e risoluzione, e nessuno primeggia in tutti i benchmark. Ci chiediamo se le loro rappresentazioni siano complementari e se un unico encoder possa ereditarne la complementarità. Presentiamo Pangaea-Latents, un’estensione del benchmark Pangaea che fornisce gli embedding congelati di $5$ GFM sui suoi $11$ dataset, insieme a baseline riprodotte, e riscontriamo che gli embedding dei GFM non sono né ridondanti né disgiunti. Proponiamo quindi GeoMixture, un framework preliminare per allineare un ViT a diversi GFM per ciascun dataset mediante un obiettivo di allineamento tra più rappresentazioni (mREPA). Il nostro encoder eguaglia il miglior GFM per posizione media in classifica su nove dataset di Pangaea, rinunciando alle prestazioni di picco a favore della coerenza tra compiti.