TerraMesh-Masks: segmentazione a vocabolario aperto per l’osservazione della Terra

Abstract degli autori

La segmentazione a vocabolario aperto (OVS) consente ai modelli di segmentare una varietà di concetti descritti in linguaggio naturale, eliminando la necessità di insiemi fissi di etichette e del fine-tuning. Sebbene i recenti approcci OVS abbiano mostrato ottime prestazioni sulle immagini naturali, si trasferiscono poco efficacemente ai dati di osservazione della Terra (EO), a causa delle differenze semantiche, di scala, di modalità di rilevamento e di contesto geografico. Finora, i dataset e i benchmark su larga scala specifici per l’EO dedicati all’OVS sono rimasti scarsi. Presentiamo quindi TerraMesh-Masks, un dataset di segmentazione a vocabolario aperto su larga scala per l’EO, composto da 16 milioni di maschere binarie allineate con nove milioni di campioni multimodali TerraMesh e annotate usando semantiche basate su OpenStreetMap e Overture. Inoltre, forniamo un set di valutazione revisionato da esperti, composto da 523 campioni e che copre oltre 200 classi, per consentire una valutazione robusta. Per dimostrare l’impatto di TerraMesh-Masks, realizziamo una versione a vocabolario aperto di TerraMind. I nostri risultati dimostrano prestazioni nettamente migliori rispetto ai modelli generalisti all’avanguardia: l’IoU raggiunge il 35,18%, contro il 16,29% di DINOv3.txt e l’11,33% di SAM-3. Rendiamo il dataset disponibile pubblicamente con una licenza permissiva all’indirizzo https://huggingface.co/datasets/ibm-esa-geospatial/TerraMesh-Masks.