Convergenza globale nelle reti profonde tramite la seconda legge della termodinamica

Abstract degli autori

Le analisi esistenti della convergenza delle reti neurali profonde sovraparametrizzate di larghezza finita, con parametrizzazione standard, si basano spesso sull’ipotesi che i parametri rimangano vicini ai valori iniziali e in genere trascurano il ruolo del rumore, nonostante le evidenze empiriche secondo cui la stocasticità può migliorare l’ottimizzazione e la generalizzazione. Per colmare questa lacuna, studiamo le dinamiche di Langevin in tempo continuo (CLD), regolarizzate con $L_2$ e con rumore isotropo, nell’addestramento di reti feedforward con funzioni di attivazione lisce. Introduciamo una disuguaglianza di cambiamento di misura, ispirata alla seconda legge della termodinamica, che consente di controllare proprietà fondamentali delle dinamiche di addestramento rispetto alla distribuzione dei parametri che evolve nel tempo. Sfruttando un limite inferiore più stringente per il minimo autovalore del Neural Tangent Kernel (NTK) all’inizializzazione, dimostriamo che il rumore introdotto contribuisce a preservare la stabilità dell’NTK con alta probabilità, senza confinare i pesi in un piccolo intorno dei loro valori iniziali. Ne ricaviamo un limite superiore non asintotico per la perdita di addestramento attesa. La nostra analisi fornisce condizioni esplicite sulla larghezza e sulla temperatura del rumore che garantiscono la convergenza a un livello minimo finito della perdita. Infine, mostriamo sperimentalmente che la jacobiana della rete può cambiare rispetto all’inizializzazione, uscendo dal regime lazy comunemente analizzato.