LoCA: rendere possibile la multimodalità nei codificatori di posizione geospaziale

Abstract degli autori

I codificatori di posizione trasformano le coordinate geografiche in descrittori ad alta dimensionalità mediante l’allineamento contrastivo con immagini di osservazione della Terra associate alle coordinate. Dimostriamo che questa costruzione presenta un limite strutturale: qualsiasi codificatore di posizione di Lipschitz produce un output di dimensione intrinseca non superiore a 2, indipendentemente dall’architettura o dalla larghezza di banda. Di conseguenza, la perdita contrastiva supera necessariamente il proprio valore ottimo asintotico. Anche sul piano empirico, l’addestramento congiunto fa collassare a un rango basso la covarianza degli embedding del codificatore. Pur essendo limitati nella dimensionalità, gli attuali codificatori di posizione evitano questo collasso spettrale addestrandosi rispetto a un codificatore di immagini i cui parametri sono congelati. Reinterpretiamo tale codificatore come un regolarizzatore della covarianza, che fornisce al codificatore di posizione un bersaglio ad alto rango su cui ripiegarsi. Estendere questo approccio a input multimodali è però difficile: i codificatori di posizione dovrebbero associare simultaneamente una singola posizione a più descrittori, potenzialmente incompatibili. Individuiamo due requisiti che un regolarizzatore deve soddisfare per la codifica della posizione in contesti multimodali: l’allineamento reciproco tra le modalità, poiché i soli adattatori non possono allineare codificatori preaddestrati in modo indipendente, e un rango effettivo elevato, poiché il codificatore di posizione eredita lo spettro del proprio bersaglio. Proponiamo LoCA (Location Contrastive Alignment), una procedura in due fasi che soddisfa entrambi i requisiti. Nella prima fase, i codificatori Sentinel-1 e Sentinel-2 vengono addestrati congiuntamente mediante apprendimento contrastivo, producendo un bersaglio multimodale ad alto rango, con le modalità allineate tra loro. Nella seconda fase, i parametri dei codificatori di immagini vengono congelati e un codificatore di posizione e uno di metadati tabulari vengono addestrati come adattatori di proiezione mediante apprendimento contrastivo multi-vista. Nel confronto con cinque codificatori all’avanguardia su 17 compiti, che spaziano dalla copertura del suolo e dalla previsione degli incendi boschivi alle applicazioni geofisiche, socioeconomiche, legate alla biodiversità e climatiche, LoCA ottiene il maggior numero di vittorie nei singoli compiti, è l’unico modello a superare ciascuno degli altri nella maggioranza dei compiti e vince il 68,8% di tutti i confronti per compito.