Vai al contenuto
AI.info

Ricerca

Le attivazioni massive compromettono gli autoencoder sparsi

Gli autoencoder sparsi (SAE) vengono comunemente valutati in base alla varianza spiegata e al danno da ablazione. Mostriamo come le attivazioni massive compromettano entrambe le valutazioni e…

Le attivazioni massive compromettono gli autoencoder sparsi
arXiv
2611.13548
Pubblicato
2026-11-10
Autori
Nathan Delisle, Chenhao Tan

Abstract degli autori

Gli autoencoder sparsi (SAE) vengono comunemente valutati in base alla varianza spiegata e al danno da ablazione. Mostriamo come le attivazioni massive compromettano entrambe le valutazioni e proponiamo una correzione. Le attivazioni massive fanno sì che fino al 99,9% della varianza delle attivazioni si concentri lungo la prima componente principale (PC1). Poiché la componente PC1 non ammette una decomposizione sparsa univoca, ogni esecuzione del SAE la ricostruisce a partire da un insieme diverso di feature. Queste feature dominano le classifiche di importanza: in media, 47 delle 50 feature più importanti non trovano corrispondenza in un’esecuzione separata, rispetto a circa 27 in un insieme casuale di 50. Un dizionario può anche indicare che spiega il 99,96% della varianza, lasciando però inspiegato il 33% della varianza al di fuori di PC1. Aggiriamo PC1 addestrando il SAE su attivazioni da cui PC1 è stata rimossa, per poi aggiungere PC1 alla ricostruzione. Nei modelli interessati, il tasso di sovrapposizione delle 50 feature più importanti passa dal 4–39,5% al 73–99,5%. A parità di sparsità TopK, il SAE risultante degrada il modello fino al 44% in meno e riduce l’errore di ricostruzione del contenuto fino al 33,9%.

Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.

Leggi il paper originale su arXiv