FairRSFM: un benchmark che tiene conto dei biomi e un framework per la riduzione dei bias nei modelli fondazionali per il telerilevamento

Abstract degli autori

I modelli fondazionali per il telerilevamento (RSFM) vengono comunemente valutati con metriche aggregate, che possono nascondere disparità sistematiche nelle prestazioni tra regioni ecologiche. Presentiamo FairRSFM, un benchmark che tiene conto dei biomi per valutare la robustezza degli RSFM nei diversi gruppi ecologici. FairRSFM assegna campioni georeferenziati appartenenti a 14 classi di biomi terrestri a sei macrogruppi ecologicamente significativi e valuta i modelli secondo un protocollo unificato con backbone congelato. Il benchmark comprende quattro dataset per compiti a valle: m-EuroSAT, m-BigEarthNet, m-SA-Crop-Type e MMEarth20K con mappe delle etichette Dynamic World. Valutando Prithvi-EO-2.0, SatMAE e DOFA con tre semi casuali, mostriamo che le prestazioni aggregate nascondono sistematicamente disparità legate ai biomi nelle diverse architetture e nei diversi compiti. Per esempio, Prithvi-EO-2.0 raggiunge una macro-F1 complessiva del 90,98% su m-EuroSAT, ma un punteggio medio del gruppo peggiore di appena l’83,72%, mentre su m-SA-Crop-Type la mIoU scende dal 27,30% complessivo al 18,47% nel gruppo Xeric and Mineralogical. Valutiamo inoltre Biome-Orthogonal Linear Probing (BOLP), Dynamic Biome Reweighting (DBR) e GroupDRO come metodi di riferimento complementari per mitigare queste disparità. La loro efficacia dipende dal modello e dal compito: per esempio, BOLP migliora la F1@opt del gruppo peggiore di Prithvi-EO-2.0 su m-BigEarthNet, portandola dal 46,12% al 50,27% senza aggiornare il backbone dell’RSFM. FairRSFM offre un protocollo riutilizzabile per individuare e ridurre le lacune nella robustezza ecologica dei modelli fondazionali per il telerilevamento. Il codice e i dataset sono disponibili all’indirizzo: https://github.com/aminurhossain/FairRSFM.