Ridistribuzione delle rappresentazioni negli autoencoder sparsi

Abstract degli autori

Gli autoencoder sparsi (SAE) scompongono le attivazioni dei modelli linguistici in feature sparse, ma le trasformazioni dei prompt concepite per preservare la richiesta sottostante possono ridistribuire l’attività tra queste feature. Una variazione osservata in una feature su un prompt trasformato non si ripete necessariamente; anche quando si ripete, non è detto che influisca su un’elaborazione successiva. Introduciamo il punteggio di sensibilità alla ridistribuzione (RSS), che individua le risposte di grande entità delle feature che si ripetono in una direzione coerente, e valutiamo gli insiemi di feature così ottenuti su varianti escluse dalla selezione. Nei 27 SAE preaddestrati esaminati, relativi a otto modelli linguistici, le trasformazioni dei prompt testate producono un profilo di ridistribuzione riproducibile su queste varianti escluse. Distinguiamo poi le variazioni ricorrenti della rappresentazione dal contributo con segno al readout e dal fallimento della decisione. Per un readout lineare fisso, una scomposizione esatta mostra come l’entità della risposta, i coefficienti del readout, l’allineamento direzionale e il margine del prompt non trasformato determinino le conseguenze a valle. In due readout di sicurezza con parametri fissi, la combinazione dell’erosione degli insiemi di feature individuati tramite RSS con l’intero margine del prompt non trasformato produce AUROC di 0,935 e 0,958 per i fallimenti ricorrenti, usando insiemi di dimensione mediana pari a 20 e 19 feature, contro 0,965 e 0,964 con l’erosione completa. RSS offre quindi un modo per individuare variazioni ricorrenti delle rappresentazioni sparse e quantificare il loro contributo a un readout a valle, senza equiparare la variazione della rappresentazione al fallimento. Il codice è disponibile su https://github.com/OpenSAE/Redistribution-Sensitivity-Score