REDaCT: disapprendimento senza collasso nei grandi modelli di ragionamento

Abstract degli autori

Il disapprendimento nei grandi modelli di ragionamento (LRM) richiede di rimuovere le informazioni dell’insieme da dimenticare sia dalla traccia di ragionamento sia dalla risposta finale. Gli approcci esistenti raggiungono questo obiettivo al costo di un collasso del ragionamento, in cui il modello non riesce a produrre una catena di pensiero (CoT) coerente e non termina correttamente il proprio processo di ragionamento. Per affrontare questa sfida, proponiamo REDaCT (REgenerate via Detection and Corrective Tuning), un framework di disapprendimento per LRM in fase di inferenza. REDaCT comprende due componenti principali: (1) un rilevatore binario di fughe di informazioni, che individua nella traccia di ragionamento le frasi che rivelano informazioni dell’insieme da dimenticare; e (2) un modulo di ottimizzazione degli embedding, che apprende offline un embedding correttivo, così che, quando viene inserito durante l’inferenza in corrispondenza della prima fuga rilevata, indirizzi il ragionamento successivo verso frasi che non rivelano informazioni dell’insieme da dimenticare. I risultati sperimentali mostrano che REDaCT evita completamente il collasso del ragionamento e migliora notevolmente la conservazione delle capacità di ragionamento rispetto ai metodi di disapprendimento allo stato dell’arte, mantenendo al contempo la completa dimenticanza delle risposte e una dimenticanza della CoT pressoché completa. Il nostro codice è disponibile all’indirizzo: https://github.com/jmaccoby/redact.