L’addestramento al ragionamento efficiente non compromette sempre la fedeltà e la monitorabilità della catena di pensiero

Abstract degli autori

Il ragionamento basato sulla catena di pensiero (CoT) permette agli esseri umani di esaminare come i modelli linguistici di grandi dimensioni arrivano alle loro risposte e di supervisionarne il comportamento. Questo ragionamento comporta però un aumento del costo di inferenza, che motiva lo sviluppo di metodi efficienti per addestrare i modelli a risolvere i compiti usando meno token. Un timore diffuso, tuttavia, è che questo addestramento possa indurre i modelli a saltare passaggi importanti del ragionamento, cosicché la CoT non rispecchi più fedelmente la decisione del modello. Non è chiaro se e quando ciò accada nella pratica: i diversi metodi per migliorare l’efficienza esercitano pressioni sulla lunghezza della CoT in modi diversi, e spiegare fedelmente la decisione di un modello richiede più token in alcuni compiti che in altri. Per comprendere queste dinamiche, sottoponiamo vari modelli a fine-tuning con tre metodi che esercitano pressioni diverse sulla lunghezza: un budget fisso di generazione, un obiettivo di lunghezza per ciascun esempio e una ricompensa per la lunghezza relativa al gruppo. Valutiamo gli effetti del ragionamento efficiente sulla fedeltà della CoT, ossia quanto bene rispecchia le decisioni del modello su input correlati, e sulla sua monitorabilità, ossia se la CoT rivela quando gli interventi sull’input modificano l’output. Riscontriamo che gli effetti sulla fedeltà e sulla monitorabilità sono diversi. La fedeltà diminuisce nella maggior parte dei casi, soprattutto perché i modelli addestrati sono meno coerenti. La monitorabilità è più robusta: i modelli continuano a riconoscere l’influenza sulla propria risposta anche quando la CoT è molto più breve.