Vai al contenuto
AI.info

The Pulse

I test di LiveGeo rivelano che gli agenti di IA faticano quando cambiano le condizioni geografiche

Un nuovo benchmark verifica se gli agenti di IA riescono a rivedere i piani geografici al mutare delle condizioni simulate di una città. I ricercatori hanno rilevato che, in contesti dinamici, le prestazioni calavano nettamente rispetto a compiti statici comparabili.

I test di LiveGeo rivelano che gli agenti di IA faticano quando cambiano le condizioni geografiche

Secondo quanto riferiscono i ricercatori in un nuovo preprint, gli agenti di IA hanno ottenuto risultati nettamente peggiori nei compiti geografici quando cambiavano le condizioni simulate di una città: il successo medio è sceso dal 19,1% nei test statici comparabili al 5,7% e al 4,0% in due contesti dinamici, con cali relativi del 70,3% e del 79,3%. Il 12 novembre i ricercatori hanno presentato LiveGeo, un benchmark che verifica se gli agenti sono in grado di controllare le informazioni precedenti e rivedere i piani man mano che l’ambiente circostante evolve.

Gli autori hanno valutato nove modelli proprietari e open source usando lo stesso framework per agenti e lo stesso protocollo di accesso agli strumenti. Hanno rilevato che prestazioni elevate nei compiti a condizioni fisse non si traducevano necessariamente in decisioni affidabili quando il mondo simulato cambiava.

Una città che cambia nel tempo

LiveGeo funziona su GeoWorld, una piattaforma di simulazione basata sulla geografia urbana reale. La piattaforma gestisce reti stradali, informazioni sui luoghi ed eventi regionali, consentendo al contempo alle condizioni esterne di cambiare secondo le proprie tempistiche e mantenendo una registrazione degli stati del mondo.

Il mondo simulato si basa su sei città reali, con 88 regioni, 1.376 punti di interesse e 107.372 percorsi memorizzati nella cache. Le città sono Shanghai, Tokyo, Singapore, Londra, New York e Città del Capo.

LiveGeo comprende 1.237 istanze di compiti verificabili suddivise in sette categorie e dà agli agenti accesso a 31 tipi di strumenti. Il repository pubblicato descrive l’insieme come composto da 1.088 compiti statici e 149 compiti dinamici comparabili.

Dal trovare luoghi al cambiare i piani

I compiti atomici riguardano l’identificazione di un luogo a partire da indizi visivi o testuali, la ricerca di una destinazione che soddisfi determinati requisiti e la valutazione della fattibilità di un viaggio. I compiti più complessi richiedono agli agenti di coordinare persone con punti di partenza e orari diversi, pianificare sequenze di attività, tenere conto dei rischi o applicare il contesto geografico locale.

I compiti dinamici comparabili iniziano con la stessa richiesta e lo stesso stato iniziale del mondo dei rispettivi compiti statici. Nel contesto statico, le condizioni rilevanti per il compito rimangono fisse; nelle dinamiche limitate al compito, gli eventi definiti per il compito entrano in vigore con l’avanzare del tempo virtuale. Le dinamiche condivise introducono anche altri eventi cittadini lungo la stessa sequenza temporale, richiedendo all’agente di stabilire quali cambiamenti siano rilevanti per il suo piano.

Risultati e modalità di errore

Secondo i ricercatori, l’agente più performante ha raggiunto il 38,0% di pass@1 nei compiti del paper di ancoraggio geografico e individuazione dei luoghi. Le prestazioni sono calate ulteriormente nei compiti composizionali, che richiedono agli agenti di soddisfare contemporaneamente più vincoli geografici.

Per esempio, Claude Sonnet 5 ha ottenuto il 22,8% nella baseline statica della valutazione dinamica, scendendo al 2,0% con le dinamiche condivise e al 2,7% con quelle limitate al compito. Gemini 3.7 Flash ha ottenuto il 26,2% nella baseline statica, il 13,4% con le dinamiche condivise e il 14,1% con quelle limitate al compito.

Gli autori hanno individuato nelle affermazioni geografiche non supportate, nei contesti statici, e nell’incapacità di monitorare i cambiamenti, nei contesti dinamici, i principali colli di bottiglia. Secondo il paper, spesso gli agenti non riuscivano a ottenere informazioni aggiornate dopo cambiamenti rilevanti nel mondo.

Tra le esecuzioni in cui erano stati osservati tutti gli eventi necessari, il 36,4% con dinamiche limitate al compito e il 38,6% con dinamiche condivise ha segnalato correttamente i cambiamenti rilevanti, ma è comunque arrivato a decisioni errate. Nel preprint, gli autori presentano i risultati come una valutazione in ambienti geografici simulati, non come un test di agenti operativi in città reali.

Strumenti di ricerca disponibili

Il repository di GeoWorld include una città campione integrata, che può essere aperta in World Studio senza credenziali API. Descrive inoltre come i ricercatori possano eseguire il benchmark e creare generatori di compiti usando le città, gli strumenti e la riproduzione degli eventi della piattaforma.

Il campione contiene luoghi, percorsi e registri dei servizi di Londra, tutti registrati. È inoltre possibile esaminare esempi di compiti registrati e risultati dei modelli senza credenziali per i modelli.

Fonti

Notizie correlate

Esplora

Altri articoli