AnyGoal: la generalizzazione dei modelli del mondo oltre le traiettorie degli esperti

Abstract degli autori

L’obiettivo di un modello del mondo è catturare le dinamiche di un ambiente. Il suo grande vantaggio è che permette agli agenti di pianificare e simulare una sequenza di azioni. Perché queste applicazioni siano affidabili, però, le dinamiche apprese devono funzionare anche al di là delle specifiche combinazioni di stati e azioni osservate nelle traiettorie degli esperti. Eppure, il rapporto tra copertura dei dati, generalizzazione delle dinamiche e risultati della pianificazione a valle resta poco studiato. Esaminiamo questo rapporto attraverso la generalizzazione composizionale: un modello del mondo può ricombinare fattori di stato e azioni già noti in dinamiche valide? Per rispondere, presentiamo AnyGoal, un benchmark composto da varianti di compiti con obiettivi modificati, costruite a partire da ambienti ampiamente utilizzati per i modelli del mondo, insieme a una libreria open source. Ogni compito è progettato per essere alla portata di un modello del mondo che abbia appreso le dinamiche sottostanti: i singoli fattori di stato e le azioni restano nel supporto dei dati di addestramento, ma le loro combinazioni sono poco rappresentate nelle traiettorie degli esperti. In diversi ambienti e famiglie di modelli del mondo, riscontriamo che i modelli attuali falliscono sistematicamente di fronte a queste ricombinazioni. Esaminando i fallimenti relativi alle dinamiche e alle rappresentazioni tra diverse famiglie di modelli, modalità di interazione e metriche di valutazione, studiamo dove i modelli del mondo attuali riescono a generalizzare e quali difficoltà persistono nella previsione e nella pianificazione con obiettivi modificati. Nel loro insieme, questo quadro, il benchmark e l’analisi offrono una base per valutare i progressi verso modelli del mondo capaci di generalizzare a nuovi compiti di pianificazione.