The Pulse
Google apre l’accesso all’agente Earth AI e a due benchmark geospaziali
Google amplia l’accesso sperimentale al suo agente Geospatial Reasoning, basato su Gemini, attraverso Ask Google Earth e un’API da agente ad agente. I nuovi benchmark GeoExpertQueries e GeoKTools mettono alla prova, rispettivamente, l’anali
AI.info Team · Scritto con l’IA ·
Su GeoExpertQueries, l’agente Geospatial Reasoning di Google ha ottenuto 62,7 punti su 100 con Gemini 3.8 Flash; lo stesso modello, con strumenti di base, ha ottenuto 3,3 punti. Il risultato proviene dalla nuova valutazione condotta da Google su un agente sperimentale che combina Gemini con modelli geospaziali, fonti di dati e una fase di pianificazione dettagliata. Il 14 ottobre, Google Research ha inoltre annunciato due nuovi benchmark e ampliato l’accesso sperimentale attraverso Ask Google Earth e un’API da agente ad agente.
Due benchmark mettono alla prova diversi tipi di lavoro spaziale
Il benchmark GeoExpertQueries di Google propone problemi pratici a risposta aperta in ambiti che includono la resilienza alle crisi, la salute pubblica e la scelta dei siti. Esperti di analisi geospaziale hanno definito procedure di riferimento per i compiti, e un valutatore automatizzato, validato da esseri umani, verifica se l’analisi di un agente segue un approccio valido. Il benchmark misura il processo, non la corrispondenza della risposta a un unico risultato definitivo.
GeoKTools si concentra sulla capacità di un agente di scegliere e usare gli strumenti giusti per richieste basate su modelli predefiniti e con risposte verificabili. I suoi compiti richiedono da uno a quattro tipi distinti di strumenti geospaziali. Il rapporto descrive 305 richieste ricavate da 92 modelli predefiniti scritti da esperti, che coprono 24 tipi di strumenti; 220 richieste sono riservate al test. Google ha reso disponibili le partizioni di sviluppo di entrambi i nuovi benchmark, insieme ai materiali per l’assegnazione dei punteggi, ma non le domande riservate al test.
I ricercatori hanno inoltre messo alla prova l’agente su due benchmark esistenti, CBGB e UnivEARTH. Secondo Google, UnivEARTH non distingue più bene tra i sistemi: Gemini 3.8 Flash ha ottenuto 93,6 punti anche come modello autonomo, senza accesso a Earth Engine. I ricercatori attribuiscono i risultati elevati al fatto che le risposte erano disponibili negli articoli pubblici della NASA da cui erano state tratte le domande.
Gli strumenti specializzati hanno prodotto gran parte del miglioramento
Google ha confrontato quattro configurazioni con Gemini 3.1 Pro e Gemini 3.8 Flash: un modello autonomo; un modello con strumenti di base; un modello con gli strumenti geospaziali di Google ma senza pianificazione preliminare; e l’agente completo. Su GeoExpertQueries, l’aggiunta degli strumenti di Google ha portato il punteggio di Gemini 3.8 Flash da 3,3 a 52,2. L’agente completo ha raggiunto 62,7 punti, con un ulteriore aumento di 10,5 punti grazie alle indicazioni per la pianificazione e l’esecuzione.
Su GeoKTools, l’agente completo con Gemini 3.8 Flash ha ottenuto 85,9 punti, contro i 40,0 dello stesso modello con strumenti di base. Google afferma di aver eseguito le valutazioni tre volte e ne riporta la media; i punteggi sono calcolati con metodi diversi nei vari benchmark, quindi sono significativi all’interno di ciascun benchmark, non per confronti diretti tra benchmark.
Gli autori dello studio scrivono: «Il salto maggiore deriva dalle capacità e dagli strumenti di GRA; nei problemi a risposta aperta, le sue indicazioni per la pianificazione e l’esecuzione producono un ulteriore miglioramento con Gemini 3.8 Flash, consentendo a Flash di eguagliare o superare Pro a un costo inferiore». Noam Slonim et al., “Google Earth AI Geospatial Reasoning Agent: Capabilities and a Systematic Evaluation”
Google invita i partner a provare l’agente
Il sistema collega Gemini ai modelli Google Earth AI per il telerilevamento, le condizioni meteorologiche, le inondazioni e le dinamiche demografiche, oltre che a Google Maps Platform, Earth Engine, Data Commons e Google Dataset Search. Pianifica una procedura prima di un’analisi complessa, elabora grandi livelli cartografici in uno spazio di lavoro separato e mostra agli utenti il piano e le fonti dei dati. Le organizzazioni possono anche fornire i propri file CSV, confini in formato GeoJSON o tabelle nel cloud da analizzare insieme ai dataset di Google.
Google afferma di aver testato l’agente con un piccolo gruppo di partner commerciali e impegnati in iniziative di impatto sociale, tra cui l’Ufficio regionale per l’Africa dell’Organizzazione mondiale della sanità, People in Need, GiveDirectly, il Milken Institute e WPP. Le loro procedure esemplificative includono indagini sui focolai di malattia, preparazione alle catastrofi e valutazione preliminare di progetti di energia pulita. L’azienda offre accesso anticipato a una funzione sperimentale di ricerca approfondita in Ask Google Earth e a un’API per gli sviluppatori che realizzano procedure personalizzate; l’annuncio le presenta come forme di accesso sperimentale, non come funzionalità disponibili a tutti.
I punteggi non stabiliscono se le risposte siano corrette
I migliori risultati dello studio sui problemi a risposta aperta riflettono la conformità alle procedure degli esperti, non dimostrano che le conclusioni finali dell’agente siano corrette. Lo studio afferma che l’output dell’agente dovrebbe essere trattato come una prima bozza da sottoporre alla revisione di esperti. Rileva inoltre che la valutazione riguarda soltanto i modelli Gemini e che GeoKTools è stato progettato intorno a operazioni supportate dagli strumenti di Google, favorendo i sistemi che li usano.
Per le organizzazioni che prendono in considerazione gli strumenti ad accesso anticipato, le questioni pratiche sono precise: se l’agente riesca a trovare dati adatti alla loro località, se l’analisi proposta regga alla revisione di esperti e se l’API sperimentale si adatti alla loro procedura di lavoro. I risultati pubblicati da Google mostrano un vantaggio nei test scelti dall’azienda; non mostrano ancora con quale frequenza il sistema produca risposte affidabili nell’intera gamma del lavoro geospaziale reale.