La supervisione delle catene di pensiero richiede prove distinte per la fedeltà e la monitorabilità

Abstract degli autori

Un’assunzione comune nella supervisione delle catene di pensiero (CoT) è che una traccia di ragionamento visibile renda più facile monitorare il comportamento del modello. Sosteniamo che questa assunzione possa confondere proprietà distinte lungo una catena che collega il calcolo interno di un modello, gli artefatti di ragionamento, gli output e i giudizi dei monitor. Individuiamo quattro proprietà lungo questa catena: la visibilità del ragionamento (se una traccia è accessibile), la fedeltà meccanicistica (se una traccia riflette il calcolo interno), la localizzabilità meccanicistica (se è possibile isolare un meccanismo causale compatto) e la monitorabilità comportamentale (se un monitor è in grado di rilevare il comportamento in esame). Due studi di caso complementari condotti su tre modelli di ragionamento open-weight mostrano perché queste distinzioni sono importanti. Nello studio sul ragionamento relativo alle vulnerabilità di sicurezza, le sonde e le ablazioni delle attivazioni forniscono evidenze della rappresentazione interna e dell’influenza causale, ma un monitor che ha accesso alla risposta di riferimento non supera il livello di base della classe maggioritaria in un test su dati tenuti da parte. Nello studio sul ragionamento fattuale con indicazioni di autorità, un monitor distingue correttamente le risposte modificate da quelle invariate, ma sette analisi meccanicistiche non isolano un meccanismo causale compatto. Questi risultati mostrano che le evidenze a sostegno di un’affermazione non dimostrano le altre. Proponiamo quindi uno standard di rendicontazione basato sulla catena delle evidenze. Ogni affermazione è corredata da una dichiarazione di giustificazione che specifica la proprietà in esame, il livello di accesso e l’artefatto, e indica per ogni collegamento necessario se è supportato, non supportato o assunto. Queste valutazioni determinano se la conclusione è giustificata, giustificata a determinate condizioni o non giustificata.