Simmetrie di scala infrante negli autoencoder lineari sottocompleti

Abstract degli autori

I paesaggi della funzione di perdita delle reti neurali presentano molte simmetrie, che il flusso del gradiente conserva ma che la discesa stocastica del gradiente (SGD) a passo finito infrange. Un esempio canonico è la simmetria di scala nelle reti omogenee: si possono aumentare i parametri di uno strato e ridurre quelli dello strato successivo senza modificare l’output della rete. Studi precedenti hanno documentato casi in cui la SGD infrange questa simmetria favorendo il bilanciamento del rumore del gradiente o la minimizzazione delle fluttuazioni. Qui mostriamo che, negli autoencoder lineari sottocompleti, la geometria delle soluzioni seleziona invece un segno preferenziale per la deriva di scala: sulla varietà delle soluzioni PCA, la SGD favorisce pesi elevati del decodificatore. Questa deriva di scala direzionale si verifica su una scala temporale lenta e la sua dinamica ammette una descrizione efficace trattabile analiticamente. Tuttavia, non può proseguire indefinitamente: l’aumento della scala spinge infine la dinamica verso un limite di stabilità a passo finito. Le soluzioni risultanti sono più appuntite rispetto a un riferimento bilanciato, nel senso dell’autovalore massimo della matrice hessiana della funzione di perdita, ma diverse misure di acutezza possono variare in direzioni opposte. Gli autoencoder sottocompleti offrono quindi un esempio concreto di come la geometria della funzione di perdita possa trasformare il rumore residuo del gradiente in un movimento direzionale lungo una varietà di soluzioni funzionalmente equivalenti.