Guidare gli agenti basati su grandi modelli linguistici a scatola nera con un modello del mondo che anticipa le insidie

Abstract degli autori

Gli agenti basati su grandi modelli linguistici (LLM) di frontiera a scatola nera sono abili nel ragionamento su orizzonti lunghi e nel generare azioni precise. Tuttavia, quando affrontano uno specifico compito agentico, non hanno una conoscenza interiorizzata di come si evolva quel particolare ambiente. Un modello del mondo offre una soluzione naturale: fornisce all’agente conoscenze specifiche sull’ambiente prevedendo come questo risponderà all’azione che l’agente sta per compiere. I precedenti modelli del mondo per agenti basati su LLM prevedono soprattutto l’osservazione successiva a ogni passo, un approccio costoso e spesso poco informativo, perché le singole osservazioni offrono indicazioni limitate utili al compito e non a ogni passo è necessario ricorrere alla previsione. Sorge quindi una domanda fondamentale: che cosa dovrebbe prevedere un modello del mondo e quando dovrebbe essere chiamato in causa nei compiti agentici? Il nostro studio pilota suggerisce che le indicazioni di un modello del mondo siano più utili quando anticipano le insidie entro un orizzonte futuro circoscritto a più passi. Su questa base, presentiamo Pitfall Anticipation World Model (PAWM), che interviene selettivamente quando si profila una potenziale insidia e prevede il fallimento imminente per aiutare l’agente a evitarlo. PAWM viene addestrato in due fasi: fine-tuning supervisionato (SFT) su dati sintetici etichettati con le insidie incontrate dagli agenti, seguito da un coaddestramento tramite GRPO con un LLM a scatola nera per ottimizzarlo ulteriormente nell’ambiente bersaglio. PAWM migliora le prestazioni di Claude Sonnet 4.5 del 24,3% su ScienceWorld e del 7,7% su WebArena-Lite, superando una serie di metodi di riferimento. Questi risultati dimostrano che PAWM offre agli agenti basati su LLM a scatola nera indicazioni efficaci tramite un modello del mondo.