AlphaBet: apprendimento per rinforzo per agenti LLM che prevedono eventi

Abstract degli autori

Prevedere un evento il cui esito non è ancora noto richiede di trovare evidenze pertinenti e stabilire quanto sostengano ciascun possibile esito. Tuttavia, l’addestramento dei modelli linguistici di grandi dimensioni (LLM) per la previsione basato sugli esiti parte spesso da evidenze raccolte in anticipo per un’unica data di previsione, lasciando l’acquisizione delle evidenze al di fuori del ciclo di apprendimento. Presentiamo AlphaBet, un framework di apprendimento per rinforzo (RL) basato su agenti che addestra un’unica policy di un LLM a cercare, ragionare e comunicare probabilità in più date precedenti alla definizione dell’esito. Ogni previsione datata viene valutata con una regola di scoring propria rispetto all’esito finale, consentendo di usare un singolo evento dal risultato noto per supervisionare decisioni prese in diversi stati informativi. Scomponiamo il regret di previsione in un divario nell’acquisizione delle evidenze e uno nella comunicazione delle probabilità, e mostriamo che la normalizzazione per deviazione standard della Group Relative Policy Optimization (GRPO) può distorcere l’obiettivo della comunicazione delle probabilità quando si usano regole di scoring proprie multiclasse. Su GLM-4.5-Air, AlphaBet riduce il Brier score da 0,731 a 0,626 su Forecast-Dojo e da 0,612 a 0,528 su FutureX. Ablazioni controllate attribuiscono questi miglioramenti all’addestramento su più date e mostrano che derivano da progressi sia nell’acquisizione delle informazioni sia nella comunicazione delle probabilità. I nostri risultati empirici confermano che la normalizzazione per deviazione standard della GRPO peggiora le prestazioni secondo le regole di scoring proprie, lasciando pressoché invariata l’accuratezza nella previsione dell’esito più probabile.