Sparsità di componenti e dimensioni nei meccanismi di rifiuto dei transformer

Abstract degli autori

Lo steering delle attivazioni manipola il comportamento dei modelli linguistici di grandi dimensioni intervenendo sulle attivazioni interne, ma i fondamenti meccanicistici di questi interventi restano poco compresi. Scomponiamo lo steering del rifiuto in interventi a livello di componenti in quattro modelli a pesi aperti, identificando i sottoinsiemi sparsi di componenti di attenzione e MLP il cui steering basta a riprodurre l’intero effetto comportamentale. Rileviamo che le direzioni del rifiuto si concentrano in meccanismi basati su componenti sparse, che comprendono il 28–48% dei componenti a monte e mantengono l’88–101% dell’efficacia dello steering. All’interno di questi meccanismi, lo steering efficace si concentra ulteriormente in circa il 50% delle dimensioni del flusso residuo, mantenendo l’85–98% del valore di riferimento del meccanismo basato sui componenti, in linea con una struttura di base privilegiata. La sparsità opera quindi a due livelli: quali componenti vengono sottoposti a steering e quali dimensioni al loro interno trasportano il segnale. Nel complesso, questi risultati mostrano che il rifiuto non è codificato in modo diffuso in un transformer, ma è assemblato da un meccanismo strutturato e identificabile, e forniscono una base per comprendere, da un punto di vista meccanicistico, come i comportamenti di rifiuto siano rappresentati e sottoposti a steering. Per favorire la riproducibilità, rendiamo disponibili tutto il codice e i risultati sperimentali grezzi su https://github.com/wang-research-lab/Refusal_Mechanisms.