Invarianza prima della struttura: due modalità di compressione emergente nell’apprendimento delle rappresentazioni

Abstract degli autori

Le rappresentazioni apprese mostrano una notevole invarianza nelle reti neurali biologiche e artificiali, pur in presenza di substrati diversi e di variazioni dovute a deriva, eterogeneità e inizializzazione. Per comprendere questa invarianza, proponiamo Emergent Adaptive Representation Learning (EARL), un quadro che distingue due modalità di emergenza nelle rappresentazioni apprese: la compressione nello spazio degli stati, in cui una rappresentazione appresa acquisisce una capacità predittiva sul proprio futuro superiore a quella che le unità della rete possono offrire individualmente, e la compressione nello spazio dei parametri, in cui reti con parametri diversi a livello microscopico convergono verso la stessa rappresentazione. Formalizziamo entrambe come sensibilità di Fisher e introduciamo, per ciascuna, misure informativo-teoriche a livello di ensemble. In un serbatoio ricorrente con un collo di bottiglia addestrato, la compressione nello spazio dei parametri aumenta nelle prime epoche di addestramento e in parte indipendentemente dal compito, mentre quella nello spazio degli stati aumenta circa 30 epoche dopo e solo quando la rete comincia ad apprendere la struttura temporale del compito. Questi risultati suggeriscono che l’invarianza rispetto al substrato e la struttura emergente specifica del compito vengono acquisite in fasi distinte dell’apprendimento.