Efficacia delle sonde degli stati nascosti nell’individuare gli errori di ragionamento

Abstract degli autori

Verificare la risposta finale di una lunga traccia di ragionamento può mostrare che la traccia è errata, ma non permette di distinguere tre casi: il problema può essere al di là delle capacità del modello, un altro tentativo potrebbe riuscire, oppure un singolo passaggio può aver fatto fallire una traccia che, per il resto, sarebbe stata recuperabile. Le sonde standard degli stati nascosti vengono addestrate sulla correttezza della risposta finale, un’etichetta che confonde questi casi. Le simulazioni Monte Carlo distinguono i casi e individuano il passaggio in cui si verifica l’errore, ma comportano un costo aggiuntivo in fase di inferenza. Esaminiamo gli stati nascosti di modelli di ragionamento 4B e 8B per identificare il tipo di errore e il passaggio in cui si verifica, e confrontiamo ogni sonda con la migliore baseline che non usa stati nascosti. Sulle tracce errate del modello 8B, la sonda della confidenza, una sonda calibrata della correttezza con una soglia al punto intermedio, non rileva l’81% dei casi in cui un singolo passaggio rende la traccia irrecuperabile e il 47% dei casi in cui un altro tentativo riuscirebbe. Una sonda addestrata con un’impostazione diversa sugli stessi stati inverte l’ordine di questi due tipi di errore: da quegli stati si può quindi ricavare l’uno o l’altro ordine. Per entrambi i modelli, nessuna delle sonde testate individua il passaggio in cui si verifica l’errore con maggiore precisione di una regola basata soltanto sulla lunghezza della traccia; nel caso del modello 4B, una sonda addestrata a prevedere quel passaggio non supera questa regola in nessuna delle 10 esecuzioni sulle stesse tracce. La sonda della confidenza indica dunque che una risposta è errata, ma l’ordine che attribuisce ai tipi di errore dipende da come viene addestrata.