Dual Exam: valutazione controllata degli agenti multimodali e dei modelli del mondo

Abstract degli autori

I modelli del mondo (WMs) possono aiutare gli agenti multimodali (MAs) attraverso esperienze simulate, mentre le traiettorie degli agenti possono contribuire a perfezionare i modelli del mondo. Per valutare questa interazione servono dati distinti sulla scelta delle azioni e sull’evoluzione dello stato. Presentiamo Dual Exam, che mette alla prova gli agenti con meccanismi fissi di risposta dell’ambiente e i modelli del mondo con interventi fissi sulle azioni, in ambiti fisici, digitali, sociali e scientifici. La sezione dedicata agli agenti confronta 10 configurazioni su 1.088 elementi, ripartiti in 15 categorie di presentazione dei risultati. Quella dedicata ai modelli del mondo comprende 400 casi in otto scenari: 15 configurazioni coprono tutti gli scenari e una ne copre sei. GPT 6 Astra è primo nell’Agent Index ponderato per caso, con 31,3, e GPT-Image-2 è primo nel WM Overall tra le configurazioni con copertura completa, con 21,7. Questi punteggi si basano su compiti e metriche diversi e non sono direttamente confrontabili. Un test pilota su 150 casi di una coppia di componenti interconnessi non registra alcun compito completato con successo e motiva un’analisi diagnostica dei singoli componenti. I risultati mostrano prestazioni disomogenee nei compiti e difficoltà nel preservare lo stato rilevante per il compito. Resta da stabilire quanto siano utili per prevedere il successo dei componenti interconnessi o un apprendimento reciproco duraturo.