Confronto tra MLP resi sparsi e transcoder: molte feature dei transcoder sono neuroni sotto mentite spoglie

Abstract degli autori

È ampiamente riconosciuto che i neuroni MLP nei modelli linguistici transformer siano polisemantici. Questo ha motivato l’uso dei transcoder — approssimazioni sparse e apprese degli strati MLP — come modelli sostitutivi interpretabili per l’analisi meccanicistica. Tuttavia, studi recenti mostrano che i neuroni MLP possono essere usati per ricostruire circuiti sparsi e interpretabili (Arora et al. 2026, Ye et al. 2025), sollevando la questione se i transcoder siano necessari per l’analisi dei circuiti. Definiamo «feature neuronali» le feature dei transcoder i cui pesi sono fortemente allineati a singoli neuroni MLP e mostriamo che costituiscono una quota considerevole delle feature attive negli strati finali di 13 transcoder open source. Solo le feature neuronali hanno una corrispondenza stabile con qualcosa nell’MLP sottostante: le altre feature variano di più tra un addestramento e l’altro, non corrispondono allo Jacobiano dell’MLP e cambiano in misura meno significativa rispetto alla loro inizializzazione casuale. I nostri risultati indicano che i neuroni MLP sono una base per l’interpretabilità più solida di quanto si ritenga comunemente e richiedono metodi migliori per attribuire la struttura non neuronale utilizzata dal modello.