La sensazione di sapere nei modelli linguistici di grandi dimensioni

Abstract degli autori

Gli aggiornamenti post-training modificano le risposte che i modelli linguistici di grandi dimensioni (LLM) sono in grado di fornire, ma possono lasciare disallineati i loro giudizi su ciò a cui possono rispondere. Studiamo questa desincronizzazione tra conoscenza e giudizio attraverso la sensazione funzionale di sapere (FoK), che consente la generazione selettiva, l’attivazione del recupero di informazioni e l’instradamento dei modelli, senza implicare un’esperienza soggettiva. Proponiamo due canali addestrabili: un canale della conoscenza, che modifica la capacità di rispondere, e un canale FoK, che valuta lo stato attuale della conoscenza. L’addestramento si articola in tre fasi: il fine-tuning supervisionato on-policy (OP-SFT) aggiorna la conoscenza a partire da risposte on-policy corrette; l’addestramento FoK basato sulle variazioni della conoscenza (K$Δ$-FT) adatta i giudizi attraverso stati intermedi della conoscenza; e l’ottimizzazione della policy guidata da FoK (FGPO) addestra la risposta o la spiegazione successiva. Gli esperimenti su domande e risposte fattuali, la valutazione su dataset diversi e tre aggiornamenti sequenziali mostrano che l’allineamento esplicito del FoK migliora la qualità dei giudizi sulla conoscenza aggiornata. MMLU e ARC-Easy valutano separatamente il mantenimento delle capacità.