Ammortizzare la progettazione sperimentale sequenziale negli LLM di ragionamento

Abstract degli autori

Nonostante le vaste conoscenze acquisite durante il preaddestramento e le solide capacità di ragionamento, i modelli linguistici di grandi dimensioni (LLM) faticano a raccogliere informazioni in modo adattivo nei compiti di progettazione sperimentale. Studiamo come ammortizzare la progettazione sperimentale bayesiana sequenziale (BED) in un LLM, addestrando esplicitamente il ragionamento che guida la selezione delle azioni mediante ricompense basate sul guadagno di informazione. Il nostro approccio definisce il modello generativo sperimentale indipendentemente dalle convinzioni proprie dell’LLM, consentendoci di ottimizzare il guadagno di informazione atteso rispetto a un modello di nostra scelta. Esaminiamo le scelte progettuali per l’ammortizzazione, tra cui costruzioni alternative del modello generativo, la stima delle ricompense, la definizione dello spazio delle ipotesi, gli obiettivi a più fasi e i costi computazionali rispetto alle baseline BED in fase di addestramento e di inferenza. In Twenty Questions, le politiche risultanti migliorano l’acquisizione di informazioni e le prestazioni nel compito, superano le baseline BED in fase di inferenza e di addestramento a un costo computazionale notevolmente inferiore e generalizzano a categorie mai incontrate prima. Dimostriamo inoltre un trasferimento positivo dall’addestramento su Twenty Questions a Medi-Q, un benchmark di dialogo clinico in contesti reali. Questi risultati suggeriscono che la raccolta di informazioni può essere appresa dagli LLM come una capacità di ragionamento generalizzabile.