Biforcazioni dallo spazio dei pesi: JEPAWG sui sistemi dinamici parametrici

Abstract degli autori

I pesi delle reti addestrate sono sempre più spesso trattati come dati, ma raramente si dispone di una verità di riferimento su ciò che una popolazione di modelli dovrebbe codificare. Questo ostacola la validazione sistematica dei metodi basati sullo spazio dei pesi. I sistemi dinamici parametrici sono quindi un banco di prova naturale: la dinamica cambia qualitativamente in corrispondenza di sottovarietà dello spazio dei parametri che, nelle famiglie ben studiate, sono note analiticamente o numericamente. Sottoponendo a fine-tuning una rete di previsione in ciascun punto di una griglia di parametri, si ottiene uno zoo di modelli indicizzato da un parametro fisico, sul quale è possibile verificare gli strumenti diagnostici basati sullo spazio dei pesi. Costruiamo zoo di modelli di questo tipo per quattro sistemi dinamici e li analizziamo con JEPAWG, un’iperrete a embedding congiunto proposta di recente e basata su una rappresentazione appresa dei parametri e dei pesi. JEPAWG è stata introdotta inizialmente per campionatori neurali destinati alle teorie dei campi su reticolo: in quel contesto, la sua geometria latente ha individuato la transizione di fase e stimato l’esponente critico del modello di Ising bidimensionale. Applicata ai sistemi dinamici, JEPAWG ottiene nella previsione prestazioni competitive rispetto a un’iperrete addestrata direttamente per quel compito, pur essendo supervisionata sulla corrispondenza tra parametri e pesi anziché sulle previsioni. Oltre alla previsione, la norma della derivata dei pesi decodificati rispetto al parametro individua punti e curve di Hopf, segue una cascata di raddoppiamenti del periodo con precisione sufficiente a fornire una stima qualitativa della costante di Feigenbaum e rileva una biforcazione globale, che non presenta alcuna firma negli autovalori ed è quindi invisibile alla linearizzazione. JEPAWG offre così una comprensione interpretabile della dinamica che non è possibile ottenere con altre iperreti. Nel complesso, questi risultati indicano che JEPAWG è uno strumento utilizzabile per ricavare la struttura fisica da una popolazione di reti addestrate.