Imprint Reader: dalla lettura degli aggiornamenti dei pesi all’intervento sul comportamento

Abstract degli autori

Man mano che i modelli linguistici assumono un ruolo crescente nello sviluppo dell’IA, viene naturale auspicare che riflettano sul proprio processo di apprendimento, come fanno gli esseri umani, e usino questa riflessione per migliorarsi. Al tempo stesso, questi modelli hanno un vantaggio che manca a chi apprende come essere umano: l’addestramento lascia tracce a livello dei parametri che, in linea di principio, possono essere esaminate direttamente. I modelli attuali, tuttavia, non riescono a decodificare queste tracce per spiegare esplicitamente ciò che hanno appreso. A questo scopo, presentiamo l’\textit{Imprint Reader}, un modello addestrato con \textit{Semantic Mount-and-Read Tuning} (SaRT) a descrivere aggiornamenti dei pesi congelati. SMaRT monta ciascun aggiornamento sul Reader e usa una meta-query senza ancoraggi per ottenere una descrizione in linguaggio naturale, mentre controlli senza modifiche e con perturbazioni casuali scoraggiano affermazioni non suffragate. Su aggiornamenti esclusi dall’addestramento, il Reader congiunto raggiunge un Pass@100 valutato da un giudice pari al $2\%$ per le conoscenze e al $16\%$ per il comportamento. Questi risultati dimostrano che la lettura in linguaggio naturale è fattibile, ma indicano nell’affidabilità tra aggiornamenti diversi il prossimo passo da compiere. Oltre a generare descrizioni in forma libera, il Reader fornisce un proxy differenziabile dello scarto tra un comportamento obiettivo specificato e un aggiornamento dei pesi candidato. I suoi gradienti allineati alle coordinate consentono interventi tramite MetaEdit. Con un tasso di potatura dello $0.5\%$, la selezione guidata dal Reader porta il tasso misurato di rifiuto dei prompt dannosi dal $57.9\%$ al $64.1\%$ quando l’obiettivo è mantenere la sicurezza. Usando descrizioni del comportamento senza dati di addestramento per il compito obiettivo, MetaEdit aumenta la frequenza delle espressioni di backtracking e di sotto-obiettivi nelle tracce di ragionamento matematico e porta BFCL Overall da $41.69\%$ a $44.60\%$.