EarthRecord: dai pixel ai cambiamenti del territorio con agenti multimodali in quattro decenni di immagini satellitari

Abstract degli autori

Sebbene gli agenti multimodali svolgano ormai analisi complesse dei dati servendosi di strumenti, la loro capacità di trasformare decenni di immagini satellitari in analisi affidabili dei cambiamenti del territorio, cruciali per la scienza dell’osservazione della Terra, non è ancora stata misurata. I benchmark esistenti non sono all’altezza: pongono domande su immagini selezionate o forniscono agli agenti dati preelaborati, tralasciando gli archivi grezzi multisensore da cui ha inizio questo tipo di analisi. Presentiamo EarthRecord, un benchmark basato sull’archivio grezzo di 56 siti: quattro decenni di dati Landsat, MODIS, VIIRS e Sentinel-2, per i quali l’agente deve occuparsi del mascheramento delle nuvole e dell’armonizzazione tra sensori. Il benchmark propone 238 domande sui cambiamenti del territorio, distribuite in dieci compiti di analisi, e valuta le risposte confrontandole con riferimenti non divulgati ricavati da prodotti globali, dalla concordanza tra metodi e dall’interpretazione visiva. Due controlli verificano su cosa si basano le risposte: nella modalità a libro chiuso l’archivio viene rimosso, mentre le coppie di strumenti modificano i dati di un satellite senza che cambi nulla sul terreno. Le valutazioni di dodici agenti multimodali rivelano che gli agenti più avanzati portano a termine la maggior parte delle analisi dall’inizio alla fine, ma vacillano quando una risposta richiede di produrre una mappatura a partire dalle immagini. Un’ulteriore analisi mostra che l’archivio sposta le risposte dalla conoscenza pregressa ai pixel, ma non ancora ai cambiamenti effettivi sul terreno: quando i dati di un satellite vengono modificati, metà delle risposte corrette si adegua alla modifica. EarthRecord offre così una piattaforma metodologicamente fondata per misurare e far progredire gli agenti dai pixel ai cambiamenti del territorio.