GlobeBench: valutare le capacità dei modelli del mondo basati sul testo per simulazioni scalabili di ambienti

Abstract degli autori

I modelli del mondo basati sul testo hanno recentemente mostrato di poter simulare complesse transizioni di stato in ambienti di apprendimento per rinforzo, per un’ampia gamma di usi. Tuttavia, non esiste un benchmark standardizzato per confrontare, studiare e migliorare questi modelli. In questo articolo cerchiamo di colmare questa lacuna realizzando GlobeBench, un nuovo benchmark con 1.632 compiti distribuiti in cinque domini distinti e relativi a diciannove capacità di simulazione. I compiti verificano se i modelli, data l’intera traiettoria dell’agente, riescono a prevedere la risposta dell’ambiente a una specifica azione comprendendo i precedenti cambiamenti di stato, seguendo le regole dell’ambiente e prevedendo gli effetti delle azioni su oggetti correlati e non correlati. Confrontiamo la risposta prevista con una risposta di riferimento ricavata dall’esecuzione, usando un’architettura ibrida che combina controlli deterministici e un valutatore semantico. Tra 20 LLM generici e modelli del mondo testuali specializzati, GPT-6 Astra ottiene il tasso di successo più alto nei compiti, pari al 49,57%. Rileviamo che l’accuratezza dei modelli diminuisce quando le azioni interessano una porzione più ampia dell’ambiente. In particolare, quando i cambiamenti apportati dall’agente devono propagarsi agli oggetti dipendenti, il tasso di successo nei compiti scende a una media del 5,1% tra tutti i 20 modelli. Sebbene i punti di forza dei modelli varino a seconda dei compiti, 631 compiti restano irrisolti da qualsiasi modello, il che suggerisce una lacuna significativa nelle capacità degli LLM generici come modelli del mondo.